- 17, Apr 2012
- #1
В этой теме мы поговорим о robots.txt
Для чего нужен robots.txt? robots.txt нужен для роботов поисковых систем, и для правильной индексации форума либо просто сайта. Сложно сказать какой Роботс будет идеальным для поисковых систем.
Есть фанаты robots.txt, которые постоянно что-то изменяют, добавляют пытаясь добиться идеальности.
Лично мое мнение, что во всех вопросах по robots.txt главное не переусердствовать. Лучше что-то не включить, чем включить в robots.txt, но затем ломать голову почему те или иные страницы выпали из индекса.
Включая те или иные правила в robots.txt вы должны четко понимать, что robots.txt служит лишь рекомендациями роботам поисковых систем, но никак не правилом. robots.txt для форумов с vbSEO и без него будет существенно отличаться. robots.txt для форума без vbSEO Вот, например один из "идеальных" роботсов для форума без ЧПУ
Смотрим:
Для чего нужен robots.txt? robots.txt нужен для роботов поисковых систем, и для правильной индексации форума либо просто сайта. Сложно сказать какой Роботс будет идеальным для поисковых систем.
Есть фанаты robots.txt, которые постоянно что-то изменяют, добавляют пытаясь добиться идеальности.
Лично мое мнение, что во всех вопросах по robots.txt главное не переусердствовать. Лучше что-то не включить, чем включить в robots.txt, но затем ломать голову почему те или иные страницы выпали из индекса.
Включая те или иные правила в robots.txt вы должны четко понимать, что robots.txt служит лишь рекомендациями роботам поисковых систем, но никак не правилом. robots.txt для форумов с vbSEO и без него будет существенно отличаться. robots.txt для форума без vbSEO Вот, например один из "идеальных" роботсов для форума без ЧПУ
User-agent: *
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Sitemap: http://мойсайт.ru/sitemap/vbulletin_sitemap_index.xml.gz
Host: мойсайт.ru
User-agent: Googlebot
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=
User-agent: Yandex
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Clean-param: s & do & blogtype & sort & order & mode & goto & m & y & markreadhash & prefixid & p & viewfull & p
Crawl-delay: 5
Если у вас форум без установленного vbSEO, то я бы рекомендовал обратиться к роботсу forum.searchengines.ru. Уверен, что robots этого форума устроит даже более чем простого обывателя Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Sitemap: http://мойсайт.ru/sitemap/vbulletin_sitemap_index.xml.gz
Host: мойсайт.ru
User-agent: Googlebot
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=
User-agent: Yandex
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Clean-param: s & do & blogtype & sort & order & mode & goto & m & y & markreadhash & prefixid & p & viewfull & p
Crawl-delay: 5
Смотрим:
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
lush:
Есть окошко для выключения этого.
Предупреждают, что если не поможет (мне не помогло, естессно
ardon:
