robots.txt для форума на vBulletin

W

Wmboard

#1
В этой теме мы поговорим о robots.txt

Для чего нужен robots.txt?

robots.txt нужен для роботов поисковых систем, и для правильной индексации форума либо просто сайта.

Сложно сказать какой Роботс будет идеальным для поисковых систем. Есть фанаты robots.txt, которые постоянно что-то изменяют, добавляют пытаясь добиться идеальности. Лично мое мнение, что во всех вопросах по robots.txt главное не переусердствовать. Лучше что-то не включить, чем включить в robots.txt, но затем ломать голову почему те или иные страницы выпали из индекса.

Включая те или иные правила в robots.txt вы должны четко понимать, что robots.txt служит лишь рекомендациями роботам поисковых систем, но никак не правилом.

robots.txt для форумов с vbSEO и без него будет существенно отличаться.

robots.txt для форума без vbSEO

Вот, например один из "идеальных" роботсов для форума без ЧПУ

офф
User-agent: *
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/

Sitemap: http://мойсайт.ru/sitemap/vbulletin_sitemap_index.xml.gz
Host: мойсайт.ru

User-agent: Googlebot
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=

User-agent: Yandex
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Clean-param: s&do&blogtype&sort&order&mode&goto&m&y&markreadhash&prefixid&p&viewfull&p
Crawl-delay: 5


Если у вас форум без установленного vbSEO, то я бы рекомендовал обратиться к роботсу forum.searchengines.ru. Уверен, что robots этого форума устроит даже более чем простого обывателя :)

Смотрим:

офф
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
 
W

Wmboard

#2
robots.txt для форума с установленным vbSEO

robots.txt для форума с установленным vbSEO

Здесь я также не буду лезть в дебри. Я не фанат роботса, поэтому обращусь к другому лидеру с устанвленным модулем vbSEO форуму webmasters.ru. Вот их роботс, заметьте, что данный роботс написан под директорию папки forum, то есть если у вас форум находится в корневом каталоге, нужно просто исключить во всех записях /forum

офф
User-agent: Yandex
Crawl-delay: 3
Disallow: /forum2/
Disallow: /forum/blogs/
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Host: мойсайт.ru

User-agent: Googlebot
Crawl-delay: 3
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Disallow: /forum/archive/

User-agent: Slurp
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: msnbot
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Crawl-delay: 30
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Disallow: /forum/daos/
Disallow: /forum/tools/backlinks/


Это были просто примеры. Естественно не нужно бездумно запрещать к индексации нужные вам папки, так как вы должны понимать что все эти примеры заточены под конкретные нужды конкретного форума.

Например в последнем в строке Disallow: /forum/blogs/ мы запрещаем к индексации блоги. Или Disallow: /forum2/ это их личная директория, которая только на данном форуме. Скорее всего тестовый форум. Или Disallow: /forum/daos/ - это запрет индексации модуля daos, который они используют. И так далее.

Тем не менее во всех приведенных выше роботсах основная часть атрибутов является общими, и подойдет к абсолютно любому форуму.

Так что удачи в собственных изысканиях :)
 
А

Аркадий 10

#3
Ветер, а для начинающих есть возможность пояснить подробнее?

З.Ы. Я так то ничего не понял...:sorry:
 
Н

Ночная странница

#4
Аркадий 10, подробнее поясню я, можно?
Мне просто казалось, что Veter расскажет нам какие-то особые секреты...)))

User-agent: - эта директива показывает, для какого бота расписаны рекомендации
Crawl-delay: - показывает роботу период ожидания между закачками страниц (чтобы не перегружать сервер запросами)
Host: основной домен сайта (основное зеркало), все остальные будут считаться зеркалами... но без гарантии - директива носит рекомендательный характер
ну и
Disallow: запрещает доступ к некоторым частям сайта.

Файл должен называться строго robots.txt (никаких заглавных букв), располагаться в корневой директории сайта...
Если что-то ещё непонятно - спрашивай конкретнее.
 
W

Wmboard

#5
Ночная странница написал(а):
Мне просто казалось, что Veter расскажет нам какие-то особые секреты...)))
Нажмите для раскрытия...

Там нет секретов :)


Аркадий 10, ищете готовый роботс для себя? Возьмите роботс от forum.searchengines.ru вам подойдет практически без изменений. Только допишите в него свой Host: мойсайт.ru в колонку Яндекса и все.
 
А

Аркадий 10

#6
Veter написал(а):
Аркадий 10, ищете готовый роботс для себя? Возьмите роботс от forum.searchengines.ru вам подойдет практически без изменений.
Нажмите для раскрытия...
А у меня SEO установлено, правда отключено через управление продуктами, это ничего не повлияет на работу? Вы же вот писали, что без установленного SEO?

Veter написал(а):
Только допишите в него свой Host: мойсайт.ru в колонку Яндекса и все.
Нажмите для раскрытия...

И прошу поподробнее рассказать как это сделать (как дописать то, я не понимаю где эта колонка Яндекса?:)) и вообще куда этот файлик (в блокноте все делать?) закидывать? в папку ПАБЛИК ХТМЛ?
 
Н

Ночная странница

#7
Аркадий 10 написал(а):
И прошу поподробнее рассказать как это сделать (как дописать то, я не понимаю где эта колонка Яндекса?) и вообще куда этот файлик (в блокноте все делать?) закидывать? в папку ПАБЛИК ХТМЛ?
Нажмите для раскрытия...

Создаешь обычный виндосовский блокнот, называешь его robots (расширение txt пропишется автоматически), закидываешь в него следующий текст:

п
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
Host: мойсайт.ru

User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


мойсайт.ru меняешь на свой домен, сохраняешь, закидываешь в корневой каталог сайта и проверяешь доступность через мойсайт.ru/robots.txt

Всё :)
 
J

jess123

#8
Ночная странница написал(а):
закидываешь в корневой каталог сайта
Нажмите для раскрытия...
Только ж ты учти структуру своего сайта.
Если это с /forum то и в robots.txt надо дописывать этот префикс и забрасывать на ФТП в каталог /forum
И, соотеснно, проверка будет тогда по адресу мой сайт.ру/forum/robots.txt
 
Н

Ночная странница

#9
jess123, спасибо за дополненние, просто я знаю сайт Аркадия и поэтому так смело дала "закинуть" :)
 
А

Аркадий 10

#10
Ночная странница написал(а):
мойсайт.ru меняешь на свой домен, сохраняешь, закидываешь в корневой каталог сайта и проверяешь доступность через мойсайт.ru/robots.txt
Нажмите для раскрытия...
Все сделал, права выставил 755
Ночная странница написал(а):
Всё :)
Нажмите для раскрытия...

Все - :)
Not Found

The requested URL /robots.txt was not found on this server.

Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.
Apache/2 Server at ..................ya.com Port 80
 
Н

Ночная странница

#11
Аркадий 10, я чего-то не понимаю... Если файл лежит в корневой, то почему бы ему быть недоступным?
Может, Veter подскажет, почему так может быть...
 
J

jess123

#12
Хотел и свои 5 копеек вставить:
Оператор Crawl-delay — правило, которое не учитывается Googlebot

Добавлено через 5 минут
Аркадий 10, а вы уверены, что ТОЧНО в корень сайта его положили? На ФТП вот сюда /public_html
Кстати, у меня права на роботс 766

Добавлено через 22 минуты
более конкретное расположение моего robots:
home/имя_директории/public_html
 
B

Boss3

#15
Аркадий. Если у тебя сео не в работе снеси его на фиг. И файлы сеошные тоже снести не забудь. Сео даже отключенное влияет на какие то функции. Не помню какие но замечал. Может у тебя и ошибка из поиска поэтому. Когда будешь сносить тебя спросит по аглицки удалять таблицы в базе данных, жми "да".
 
А

Аркадий 10

#16
Boss написал(а):
Аркадий. Если у тебя сео не в работе снеси его на фиг. И файлы сеошные тоже снести не забудь. Сео даже отключенное влияет на какие то функции. Не помню какие но замечал.
Нажмите для раскрытия...
Снес все нафиГ. Сообщение вот потом вылезло следующее: "Перестроение битовых полей прошло успешно" Что это?
Boss написал(а):
Может у тебя и ошибка из поиска поэтому.
Нажмите для раскрытия...
Ошибка скорее сего из-за установленного хака "облако слов из гугла", отключил его - все нормально переходит. Как оценишь этот хак, говорят, что он вреден и отрицательно влияет на индексацию? Лучше вообще снести его?
 
W

Wmboard

#17
Аркадий 10 написал(а):
"Перестроение битовых полей прошло успешно" Что это?
Нажмите для раскрытия...

Это все нормально значит.


Аркадий 10, не нужно ставить целью максимум хаков. Нужно ставить полезные админам и юзерам. Чем больше хаков, тем слабее безопасность. Параноить не нужно, но не нужно и злоупотреблять.
 
S

Sylo

#18
Я вот тут составил свой robots.txt, не мог бы кто нибудь глянуть? :)
И ещё такой вопрос: у меня в гугл-вебмастер robots.txt конфликтует(кажется) с sitemap.xml, т.е. гугл говорит, что у меня 895 предупреждений при 492 ссылок и при том, что проиндексированных URL... Как это вообще возможно? :)
robots.txt
User-agent: *
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /images/customprofilepics/
Disallow: /customgroupicons/
Disallow: /signaturepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /install/
Disallow: /archive/
Disallow: /ajax.php
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /forum/global.php
Disallow: /group_inlinemod.php
Disallow: /groupsubscription.php
Disallow: /forum/faq.php
Disallow: /infraction.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member_inlinemod.php
Disallow: /misc.php
Disallow: /moderation.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /picture_inlinemod.php
Disallow: /posthistory.php
Disallow: /postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Disallow: /forum/memberlist.php
Host: www.kamoro4ka.tw1.ru
Sitemap: http://www.kamoro4ka.tw1.ru/sitemap.xml
 
W

Wmboard

#19
Sylo, а что у вас есть папка forum? Насколько я понял ваш форум в корне директории лежит.
 
S

Sylo

#20
Veter написал(а):
Sylo, а что у вас есть папка forum? Насколько я понял ваш форум в корне директории лежит.
Нажмите для раскрытия...

У меня есть ссылка
Код: 
http://kamoro4ka.tw1.ru/forum26.html
, я подумал, что это и есть папка форум :) Получается /forum/ надо убрать? Кстати, если пройти по одной из ссылок с forum, то ошибки не будет :)
 
L

lukamal

#22
Veter, а почему в вашем файле robots.txt
стоит Disallow: /members
а не Disallow: /member.php
 
W

Wmboard

#23
Потому что member.php это без vbSEO, а с ним members
Но даже если я выкину эти строчки из robots это не будет иметь никакого значения, тк профили закрыты от гостей, следовательно и от ботов автоматом.
 
D

desperadoo

#24
А можно ли в роботсе запретить к индексации определённые подразделы форума?
 
H

Helenka1

#25
Dzmitry, насколько я знаю, запретить индексацию определенных разделов можно с помощью стандартных настроек воблы.
 
W

Wmboard

#26
Можно. Прописываете нужны разделы форума и все.

Helenka написал(а):
насколько я знаю, запретить индексацию определенных разделов можно с помощью стандартных настроек воблы.
Нажмите для раскрытия...


Helenka, стандартными настройками гости не будут видеть эти разделы. А если ты имеешь в виду в настройках раздела запрет на индексацию, то это на поиск.
 
A

Avalanch

#27
Veter написал(а):
robots.txt для форума с установленным vbSEO

Здесь я также не буду лезть в дебри. Я не фанат роботса, поэтому обращусь к другому лидеру с устанвленным модулем vbSEO форуму webmasters.ru. Вот их роботс, заметьте, что данный роботс написан под директорию папки forum, то есть если у вас форум находится в корневом каталоге, нужно просто исключить во всех записях /forum

офф
User-agent: Yandex
Crawl-delay: 3
Disallow: /forum2/
Disallow: /forum/blogs/
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Host: мойсайт.ru

User-agent: Googlebot
Crawl-delay: 3
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Disallow: /forum/archive/

User-agent: Slurp
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: msnbot
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Crawl-delay: 30
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Disallow: /forum/daos/
Disallow: /forum/tools/backlinks/


Это были просто примеры. Естественно не нужно бездумно запрещать к индексации нужные вам папки, так как вы должны понимать что все эти примеры заточены под конкретные нужды конкретного форума.

Например в последнем в строке Disallow: /forum/blogs/ мы запрещаем к индексации блоги. Или Disallow: /forum2/ это их личная директория, которая только на данном форуме. Скорее всего тестовый форум. Или Disallow: /forum/daos/ - это запрет индексации модуля daos, который они используют. И так далее.

Тем не менее во всех приведенных выше роботсах основная часть атрибутов является общими, и подойдет к абсолютно любому форуму.

Так что удачи в собственных изысканиях :)
Нажмите для раскрытия...

Veter,

тут ошибочка, повторяющая директива:
User-agent: *
Нажмите для раскрытия...
Яндекс валидатор robots пишет как раз о том, что он дублируется, надо одну удалить :)
 
W

Wmboard

#28
Ну я его не сам придумывал, а взял с указанного форума :) А так, спасибо. Те, кто будет составлять свой конечно учтут ваше замечание.
 
D

desperadoo

#29
А как вам такой вариант?
[OFF]User-agent: *
Allow: /$
Allow: /page.php?p=
Allow: /showthread.php?t=
Allow: /forumdisplay.php?f=
Allow: /opr
Allow: /img
Allow: /sitemap
Disallow: /
Host: сайт
Sitemap: http://сайт/sitemap_index.xml.gz[/OFF]
 
M

Milkivey

#30
Тут вписывают папки админки и модерации, но ведь можно посмотреть как называется эта папка зайти пытаться попасть в админку. Зачем тогда вписывают эти папки?
 
A

Avalanch

#31
Milkivey написал(а):
Тут вписывают папки админки и модерации, но ведь можно посмотреть как называется эта папка зайти пытаться попасть в админку. Зачем тогда вписывают эти папки?
Нажмите для раскрытия...

Чтобы не индексировались, почитайте, что такое robots.txt и для чего он служит.
 
M

Milkivey

#32
Ну Я знаю для чего необходим роботс, смысл тогда менять название папки если все равно ставишь на показ измененной папки название? И на этом сайте созданном роботс не вписана папка админки.
 
A

Allex1

#33
Milkivey написал(а):
Ну Я знаю для чего необходим роботс, смысл тогда менять название папки если все равно ставишь на показ измененной папки название? И на этом сайте созданном роботс не вписана папка админки.
Нажмите для раскрытия...

Вы знаете как она называется? Чего вы хотите?

[ADMIN="Veter"]Часть постов перемещена: https://lumtu.com/vbulletin/4431-kak-mozhno-zapretit-papku-foruma-k-indeksacii.html[/ADMIN]
 
M

Milkivey

#34
Mister, прошу извинить, но напишите еще раз пожалуйста код от индексации папки яндексом, гуглом и прочим, то куда-то пропал файл. Заранее спасибо.
 
Д

джинася

#37
Veter написал(а):
Если у вас форум без установленного vbSEO, то я бы рекомендовал обратиться к роботсу forum.searchengines.ru. Уверен, что robots этого форума устроит даже более чем простого обывателя
Нажмите для раскрытия...

А мне тоже такой нужен?:blush:
 
W

Wmboard

#38
Ну да. Примерно такой, если vbSEO не ставили.
 
D

Dja

#39
Залил роботс, яндекс и гул выдали ошибки.
Дело в следующем: хостинг каким-то образом добавляет в залитый роботс в самый конец вот это
Код: 
<!-- Hosting24 Analytics Code -->
<script type="text/javascript" src="http://stats.hosting24.com/count.php"></script>
<!-- End Of Analytics Code -->
Яндекс выдает "синтаксическая ошибка" и "обнаружена неизвестная директива".
Сам файл брал отсюда.
Что тут можно придумать?

Под спойлером "оффтоп" сам файл, он длинный.

[OFF]User-agent: Yandex
Crawl-delay: 3
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Host: djscuterforum.comoj.com

User-agent: Googlebot
Crawl-delay: 3
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Disallow: /forum/archive/

User-agent: Slurp
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: msnbot
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Crawl-delay: 30
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Disallow: /forum/tools/backlinks/
<!-- Hosting24 Analytics Code -->
<script type="text/javascript" src="http://stats.hosting24.com/count.php"></script>
<!-- End Of Analytics Code -->[/OFF]
 
W

Wmboard

#40
Dja написал(а):
Сам файл брал отсюда.
Нажмите для раскрытия...

Сам файл брали отсюда, но у вас бесплатный хостинг. Вот и все.

Люди, как вы не можете понять. Если вы пользуетесь бесплатными хостингами, то должны быть готовы к тому, что:

Хостинг добавит вам какие нибудь скрипты
Хостинг добавит вам какой-нибудь код
На нем форум может работать некорректно
На нем могут не работать какие-либо хаки
На нем могут быть любые неприятные моменты.

Неужели сложно найти 30 руб в месяц, и избавиться от проблем...
 
D

Dja

#41
Понял.
Обойти это никак нельзя? Ведь фактически, это же запрет на индексацию содержимого - кривой роботс.тхт поисковики не обрабатывают...
[OFF]Получилось наглядное пособие по теме "Почему не надо связываться с бесплатным хостингом"[/OFF]
 
Д

джинася

#42
Для особо одаренных,вот такой подойдет для моего сайта?:
блокнот
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
Host: istradeti.ru

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
 
D

Dja

#43
О том, про что писал выше. Разобрался.
В конфе техподдержки хостинга этот вопрос освещен.
Признаются, что да, они добавляют этот код, типа как для пользы юзеров, чтобы юзеры у них же смогли поглядеть статистику по своему сайту....:D
Есть окошко для выключения этого.
Предупреждают, что если не поможет (мне не помогло, естессно:crazy::D) то добавить в .htaccess такую строчку:

php_value auto_append_file none
Нажмите для раскрытия...

Всё, убрался код, яндекс перестал давать ошибку.:victory:
 
W

Wmboard

#44
джинася, поменяйте директиву хост на

Код: 
Host: www.istradeti.ru

За что это вас Яндекс выбросил из индекса до трех стр?
 
D

Dja

#45
jess123 написал(а):
Только ж ты учти структуру своего сайта.
Если это с /forum то и в robots.txt надо дописывать этот префикс и забрасывать на ФТП в каталог /forum
Нажмите для раскрытия...
Это требует пояснений, потому что на http://robotstxt.org.ru/robotsexclusion/guide#______ сказано:
На сайте может быть только один файл «/robots.txt». Например, не следует помещать файл robots.txt в пользовательские поддиректории – все равно роботы не будут их там искать. Если вы хотите иметь возможность создавать файлы robots.txt в поддиректориях, то вам нужен способ программно собирать их в один файл robots.txt, расположенный в корне сайта.
Нажмите для раскрытия...
И дальше:
Как видите, файл robots.txt нужно класть исключительно в корень сайта.
Нажмите для раскрытия...
Сайт у меня, допустим, bumbub.org, там только одна-единственная (пока) страница index.html, форум лежит по адресу bumbum.org/forum.
Причём когда открываю Filezillo-й, дерево такое: в самом корне (не знаю чего) лежит несколько папок, среди них папка WWW, в ней лежит папка с названием bumbum.org, а в ней - index.html и папка forum. Куда класть robots.txt, в bumbum.org? И добавлять /forum во все строчки?
 
W

Wmboard

#46
Все правильно сказано в цитате. Роботс должен быть один, и роботс должен быть в корневой директории.

Dja написал(а):
Куда класть robots.txt, в bumbum.org?
Нажмите для раскрытия...

В папку WWW конечно же. Это и есть корень сайта.
 
Н

Ночная странница

#47
ВНИМАНИЕ! ВАЖНО!

Буквально сегодня столкнулась с ситуацией, когда в robots.txt добавляют ссылки на переименованные админки и модерки. Такого ни в коем случае делать нельзя - переименование для того и делается, чтобы скрыть эти разделы от непрошенных гостей! А в этом файле их может увидеть любой школьник! Особенно это актуально в связи с повальным брутом...

[ADMIN="Veter"]Часть постов перемещена: https://lumtu.com/poiskovye-sistemy-runeta/4616-nol-stranic-v-indekse-ssndeksa-eto-ban-2.html[/ADMIN]
 
I

inso

#48
Ночная странница написал(а):
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
Host: мойсайт.ru

User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
Нажмите для раскрытия...


Если у меня домен .рф? его писать Host:мой-сайт.рф? Я просто закинул, проверил доступность по ссылке мой-сайт.рф/robots.txt, а там хост кракозябрами написан.

Добавлено через 4 минуты
Проверил в панели яндекс без регистрации, по итогу проверки выдал используемые секции:


38-55 User-agent: Yandex
Crawl-delay: 3
...
Host: мой-сайт.рф
Нажмите для раскрытия...

Я правильно понимаю, что все в порядке?
 
W

Wmboard

#49
С рф не знаю. Нет у меня таких доменов, и не будет.
 
I

inso

#50
Я правильно понимаю, чтобы не индексировались разделы Справка и Календарь, надо добавить строчки
Disallow: /faq.php
Disallow: /calendar.php
для каждого бота?

Также заметил что у меня некоторые темы индексируются два раза - в самом форуме и в архивном варианте. Это ведь не очень хорошо, верно?
 
Get involved!

Here you can only see a limited number of comments. On СЕО Форум Вебмастеров you see all comments and all functions are available to you. To the thread