robot.txt для vBulletin 4.2.3

Meh_nik

Ну а сегодня мне написали из Яндекс, что на том IP адресе на котором у меня форум, еще много объемных сайтов, а потому, господа из Яндекса не могут быть уверены, что мой форум полностью будет загружен в течении.

- вобщем даж не смогли сказать какое время это займет.

В отличии от них Гугл полностью сделал индексацию, на это ему потребовалось 2 недели, к тому же ему не нужны и robots.txt он и без них проиндексировал вообще все что мог.

На данный момент в Яндексе висят ссылки на мой форум, как только я его установил, со всеми темами что были на тот момент.

вобщем я не знаю кто пользуется поиском Яндекс, но я точно им пользоваться не рекомендую.

Wmboard

Usta: в Яндексе висит только 2 страницы из 260

В яндексе другие принципы ранжирования, ну и он тормозок немного, особенно с новыми сайтами. Я бы им даже не писал по таким пустякам.

lukamal: Ну, можно посмотреть у тех кто больше нравится!

Абсолютно верный совет. Ищем форум лидер на том же движке, и забираем роботс. Перед этим нужно уточнить пару моментов, урлы должны быть такие же, стоит или не стоит сео, и форум в корне или в отдельной папке.

Usta: вобщем я не знаю кто пользуется поиском Яндекс, но я точно им пользоваться не рекомендую.

Да все в порядке с Яндексом

Старые сайты, новостники, трастовые влетают в индекс за 15 минут. Не успеешь статью разместить уже на 1-3 местах. И по фиг есть там роботс, сайтмап или нет

Usta

Кто нибудь, кто в теме, может посмотреть мой Робот.тхт на предмет того, все ли я правильно сделал.

Проблема в том, что я ранее в него внес все подряд и ajax в том числе, потом в гугле мне система выдала несколько заблокированных страниц, что меня удивило.

и потом я прочитал в гугле, что им лучше отсылать полные страницы с оформлением, что бы система их правильнее поняла.

 User-agent: Googlebot
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /customgroupicons/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/
User-agent: Yandex
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /clientscript/yui/history/assets/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/

Так же хочу узнать, как сделать перенаправление 300 - несуществующих страничек.

ВОбщем, изначально поставил ЧПУ на русском, думал так будет лучше, но через 3 месяца ссылки были просто нереально длинные.

пришлось изменить ЧПУ на латинский.

В итоге у меня сейчас и те странички на русском в индексе и другие которые на латинском.

Гугл умный, он самостоятельно выбил из индекса русские ссылки, а Яшка естественно засунул туда все что есть...

Wmboard

Есть же тема по роботсу... Перед User-agent: Yandex должно быть разделение. Не указан сайтмап, и не указано главное зеркало. По остальному надо смотреть особенности форума, ЧПУ и прочее.

Usta

Veter, меня интересует только содержимое.... я только середину вырезал и разместил.

Usta

Был бы очень благодарен, если бы кто нибудь выложил качественный robot.txt для vBulletin 4.2.3. Сейчас сам составил, не знаю, все ли верно сделал.

Boss: Яшка может месяцами индексировать Он тормоз

Гугл проиндексировал почти что все, в Яндексе висит только 2 страницы из 260. Написал им в поддержку, пишут, что это потому, что не составлен robot.txt - он как бы зашел месяц назад, посмотрел, что форум был закрыт по тех.

причинам и отчалил.

вот как так? И пишут, что скоро мол будет обновление базы и потом он придет.

бредятина какая то.

Lukamal

http://forums.drom.ru/robots.txt

Ну, можно посмотреть у тех кто больше нравится!

Похожие темы	Дата
Установка сервиса Open ID для vBulletin 4.1.2	19.12.2024, 05:12
vbulletin и поисковые роботы yandex, mail, rambler	19.12.2024, 05:12
Скачать vBulletin 4.х.x	19.12.2024, 05:12
Проблема с отображением подразделов на vBulletin 4.х.х	19.12.2024, 05:12
VBulletin Suite что входит в дистрибутив?	19.12.2024, 05:12
Как убрать автоматическую переадресацию на vBulletin 4.х.х?	19.12.2024, 05:12
Как изменить цветовую палитру цвета текста на vBulletin 4.х.х?	19.12.2024, 05:12
Вопрос цветные ники на форуме vBulletin 4.x.x	19.12.2024, 05:12
Появилась проблема в шаблоне vBulletin 4.х.х	19.12.2024, 05:12
ЧПУ vbulletin	19.12.2024, 05:12

robot.txt для vBulletin 4.2.3

Meh_nik

Wmboard

Usta

Wmboard

Usta

Usta

Lukamal

I AM

Интересно