robot.txt для vBulletin 4.2.3

Был бы очень благодарен, если бы кто нибудь выложил качественный robot.txt для vBulletin 4.2.3. Сейчас сам составил, не знаю, все ли верно сделал.

Boss:

Яшка может месяцами индексировать Он тормоз

Гугл проиндексировал почти что все, в Яндексе висит только 2 страницы из 260. Написал им в поддержку, пишут, что это потому, что не составлен robot.txt - он как бы зашел месяц назад, посмотрел, что форум был закрыт по тех.

причинам и отчалил.

вот как так? И пишут, что скоро мол будет обновление базы и потом он придет.

бредятина какая то.

Ну а сегодня мне написали из Яндекс, что на том IP адресе на котором у меня форум, еще много объемных сайтов, а потому, господа из Яндекса не могут быть уверены, что мой форум полностью будет загружен в течении.

- вобщем даж не смогли сказать какое время это займет.

В отличии от них Гугл полностью сделал индексацию, на это ему потребовалось 2 недели, к тому же ему не нужны и robots.txt он и без них проиндексировал вообще все что мог.

На данный момент в Яндексе висят ссылки на мой форум, как только я его установил, со всеми темами что были на тот момент.

вобщем я не знаю кто пользуется поиском Яндекс, но я точно им пользоваться не рекомендую.

Usta:

в Яндексе висит только 2 страницы из 260

В яндексе другие принципы ранжирования, ну и он тормозок немного, особенно с новыми сайтами. Я бы им даже не писал по таким пустякам.

lukamal:

Ну, можно посмотреть у тех кто больше нравится!

Абсолютно верный совет. Ищем форум лидер на том же движке, и забираем роботс. Перед этим нужно уточнить пару моментов, урлы должны быть такие же, стоит или не стоит сео, и форум в корне или в отдельной папке.

Usta:

вобщем я не знаю кто пользуется поиском Яндекс, но я точно им пользоваться не рекомендую.

Да все в порядке с Яндексом Старые сайты, новостники, трастовые влетают в индекс за 15 минут. Не успеешь статью разместить уже на 1-3 местах. И по фиг есть там роботс, сайтмап или нет

Кто нибудь, кто в теме, может посмотреть мой Робот.тхт на предмет того, все ли я правильно сделал.

Проблема в том, что я ранее в него внес все подряд и ajax в том числе, потом в гугле мне система выдала несколько заблокированных страниц, что меня удивило.

и потом я прочитал в гугле, что им лучше отсылать полные страницы с оформлением, что бы система их правильнее поняла.

 User-agent: Googlebot


Disallow: /album.php


Disallow: /animation/


Disallow: /archive/


Disallow: /calendar.php


Disallow: /converse.php


Disallow: /cpstyles/


Disallow: /customgroupicons/


Disallow: /external.php


Disallow: /faq.php


Disallow: /group.php


Disallow: /includes/


Disallow: /js/


Disallow: /list.php


Disallow: /list/


Disallow: /login.php


Disallow: /memberlist.php


Disallow: /members/


Disallow: /misc.php


Disallow: /online.php


Disallow: /packages/


Disallow: /printthread.php


Disallow: /register.php


Disallow: /search.php


Disallow: /sendmessage.php


Disallow: /showgroups.php


Disallow: /showpost.php


Disallow: /signaturepics/


Disallow: /subscription.php


Disallow: /threads/clientscript/


Disallow: /usercp.php


Disallow: /vb/


User-agent: Yandex


Disallow: /album.php


Disallow: /animation/


Disallow: /archive/


Disallow: /calendar.php


Disallow: /converse.php


Disallow: /clientscript/yui/history/assets/


Disallow: /cpstyles/


Disallow: /customavatars/


Disallow: /customgroupicons/


Disallow: /images/customprofilepics/


Disallow: /external.php


Disallow: /faq.php


Disallow: /group.php


Disallow: /includes/


Disallow: /install/


Disallow: /js/


Disallow: /list.php


Disallow: /list/


Disallow: /login.php


Disallow: /memberlist.php


Disallow: /members/


Disallow: /misc.php


Disallow: /online.php


Disallow: /packages/


Disallow: /printthread.php


Disallow: /register.php


Disallow: /search.php


Disallow: /sendmessage.php


Disallow: /showgroups.php


Disallow: /showpost.php


Disallow: /signaturepics/


Disallow: /subscription.php


Disallow: /tags.php


Disallow: /threads/clientscript/


Disallow: /usercp.php


Disallow: /vb/

Так же хочу узнать, как сделать перенаправление 300 - несуществующих страничек.

ВОбщем, изначально поставил ЧПУ на русском, думал так будет лучше, но через 3 месяца ссылки были просто нереально длинные.

пришлось изменить ЧПУ на латинский.

В итоге у меня сейчас и те странички на русском в индексе и другие которые на латинском.

Гугл умный, он самостоятельно выбил из индекса русские ссылки, а Яшка естественно засунул туда все что есть...

Есть же тема по роботсу... Перед User-agent: Yandex должно быть разделение. Не указан сайтмап, и не указано главное зеркало. По остальному надо смотреть особенности форума, ЧПУ и прочее.

Veter, меня интересует только содержимое.... я только середину вырезал и разместил.

http://forums.drom.ru/robots.txt

Ну, можно посмотреть у тех кто больше нравится!