Кто нибудь, кто в теме, может посмотреть мой Робот.тхт на предмет того, все ли я правильно сделал.
Проблема в том, что я ранее в него внес все подряд и ajax в том числе, потом в гугле мне система выдала несколько заблокированных страниц, что меня удивило.
и потом я прочитал в гугле, что им лучше отсылать полные страницы с оформлением, что бы система их правильнее поняла.
User-agent: Googlebot
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /customgroupicons/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/
User-agent: Yandex
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /clientscript/yui/history/assets/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/
Так же хочу узнать, как сделать перенаправление 300 - несуществующих страничек.
ВОбщем, изначально поставил ЧПУ на русском, думал так будет лучше, но через 3 месяца ссылки были просто нереально длинные.
пришлось изменить ЧПУ на латинский.
В итоге у меня сейчас и те странички на русском в индексе и другие которые на латинском.
Гугл умный, он самостоятельно выбил из индекса русские ссылки, а Яшка естественно засунул туда все что есть...
Старые сайты, новостники, трастовые влетают в индекс за 15 минут. Не успеешь статью разместить уже на 1-3 местах. И по фиг есть там роботс, сайтмап или нет 
![[Боровикова Лада] Питание по системе Пяти Элементов. Сезонное питание и лечебное питание](/assets/images/icons/forum0.png){kind=icon}
![[3dsmarket] Сборник PRO 3d моделей кроватей (2019)](/assets/images/icons/forum7.png){kind=icon}
