robot.txt для vBulletin 4.2.3

Usta · 02.12.15

Был бы очень благодарен, если бы кто нибудь выложил качественный robot.txt для vBulletin 4.2.3. Сейчас сам составил, не знаю, все ли верно сделал.

Добавлено через 3 минуты

Boss написал(а):
Яшка может месяцами индексировать Он тормоз

Гугл проиндексировал почти что все, в Яндексе висит только 2 страницы из 260. Написал им в поддержку, пишут, что это потому, что не составлен robot.txt - он как бы зашел месяц назад, посмотрел, что форум был закрыт по тех. причинам и отчалил... вот как так? И пишут, что скоро мол будет обновление базы и потом он придет... бредятина какая то.

lukamal · 02.12.15

http://forums.drom.ru/robots.txt
Ну, можно посмотреть у тех кто больше нравится!

Usta · 03.12.15

Ну а сегодня мне написали из Яндекс, что на том IP адресе на котором у меня форум, еще много объемных сайтов, а потому, господа из Яндекса не могут быть уверены, что мой форум полностью будет загружен в течении... - вобщем даж не смогли сказать какое время это займет.... В отличии от них Гугл полностью сделал индексацию, на это ему потребовалось 2 недели, к тому же ему не нужны и robots.txt он и без них проиндексировал вообще все что мог. На данный момент в Яндексе висят ссылки на мой форум, как только я его установил, со всеми темами что были на тот момент... вобщем я не знаю кто пользуется поиском Яндекс, но я точно им пользоваться не рекомендую.

Wmboard · 06.12.15

Usta написал(а):
в Яндексе висит только 2 страницы из 260

В яндексе другие принципы ранжирования, ну и он тормозок немного, особенно с новыми сайтами. Я бы им даже не писал по таким пустякам.

lukamal написал(а):
Ну, можно посмотреть у тех кто больше нравится!

Абсолютно верный совет. Ищем форум лидер на том же движке, и забираем роботс. Перед этим нужно уточнить пару моментов, урлы должны быть такие же, стоит или не стоит сео, и форум в корне или в отдельной папке.

Usta написал(а):
вобщем я не знаю кто пользуется поиском Яндекс, но я точно им пользоваться не рекомендую.

Да все в порядке с Яндексом :) Старые сайты, новостники, трастовые влетают в индекс за 15 минут. Не успеешь статью разместить уже на 1-3 местах. И по фиг есть там роботс, сайтмап или нет :)

Usta · 27.03.16

Кто нибудь, кто в теме, может посмотреть мой Робот.тхт на предмет того, все ли я правильно сделал. Проблема в том, что я ранее в него внес все подряд и ajax в том числе, потом в гугле мне система выдала несколько заблокированных страниц, что меня удивило.... и потом я прочитал в гугле, что им лучше отсылать полные страницы с оформлением, что бы система их правильнее поняла.

Код:

User-agent: Googlebot
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /customgroupicons/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/
User-agent: Yandex
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /clientscript/yui/history/assets/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/

Так же хочу узнать, как сделать перенаправление 300 - несуществующих страничек. ВОбщем, изначально поставил ЧПУ на русском, думал так будет лучше, но через 3 месяца ссылки были просто нереально длинные... пришлось изменить ЧПУ на латинский. В итоге у меня сейчас и те странички на русском в индексе и другие которые на латинском. Гугл умный, он самостоятельно выбил из индекса русские ссылки, а Яшка естественно засунул туда все что есть...

Wmboard · 31.03.16

Есть же тема по роботсу...
Перед User-agent: Yandex должно быть разделение.
Не указан сайтмап, и не указано главное зеркало. По остальному надо смотреть особенности форума, ЧПУ и прочее.

Usta · 31.03.16

Veter, меня интересует только содержимое.... я только середину вырезал и разместил.

robot.txt для vBulletin 4.2.3

Usta

lukamal

Usta

Wmboard

Usta

Wmboard

Usta