Правильная версия файла robot.txt

Mar$hall · 24.04.16

приветствую форумчан!
Кучу материала перелопатил по этому вопросу и решил спросить об этом у знающих вебмастеров.
Какой он все таки ПРАВИЛЬНЫЙ robot.txt для блога на wordpress ??

Флоппи · 24.04.16

Forstman написал(а):
приветствую форумчан!

Кучу материала перелопатил по этому вопросу и решил спросить об этом у знающих вебмастеров.
Какой он все таки ПРАВИЛЬНЫЙ robot.txt для блога на wordpress ??

Robots.txt это просто инструмент и не зависит от CMS.

Все зависит от того, что именно вы хотите сообщить поисковикам. Все это делается в robots.txt

Важный момент ИМХО - это конечно указать основной домен яндексу, а также карту сайта. Все остальное на усмотрение.

Sutramana · 24.04.16

Зайдите на разные популярные блоги на вордпресс и смотрите как у них устроено. Сделайте выводы и применяйте к своему сайту.

Sutramana · 24.04.16

Я в таких случаях так и делаю.

Проверить cms сайта можно тут: 2ip.ru
а robots.txt любого сайта можно посмотреть domen.com/robots.txt

Ну и было бы неплохо прочитать руководства гугла и яндекса по настройке robots.txt

Mar$hall · 24.04.16

cms я указал лишь потому, что на нескольких ресурсах делали на этом акцент.

Все зависит от того, что именно вы хотите сообщить поисковикам

вот я и хочу узнать, что лучше показывать поисковикам, а что нельзя.
Прочитал, например что гугл чуть ли не требует доступа к файлам шаблона, а яндекс может выругаться на это.
Проблема в том, что все материалы которые я находил двухлетней и более давности.

Mar$hall · 24.04.16

Зайдите на разные популярные блоги на вордпресс и смотрите как у них устроено. Сделайте выводы и применяйте к своему сайту.

и почему вы думаете, что я этого не сделал до того как написал на форуме?:rolleyes:

Wmlogs · 24.04.16

вот я и хочу узнать, что лучше показывать поисковикам, а что нельзя.

То что должно быть индексировано ( статьи и изображения ) надо сообщить. Хотя достаточно адреса статей, картинки сам найдет гугл.
Остальное можно запретить. Хотя это не обязательно.
А карту сайта можно добавить сразу в консоли яндекса и гугла. Не обязательно сообщить в robots.txt, хотя не помешает.

Sutramana · 24.04.16

Forstman написал(а):
и почему вы думаете, что я этого не сделал до того как написал на форуме?:rolleyes:

Собственно я об этом вообще не думал. Какой смысл гадать? ))

Mar$hall · 24.04.16

User-agent: *
Allow: /wp-content/themes/frontend
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */author

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/
host: site.ru
Sitemap: https://site.ru/sitemap.xml

вот как один из вариантов, выделил жирным вторую строку, это папка с активной темой. Это если делать с учетом требований гугла

Флоппи · 24.04.16

User-agent: YandexImages
Allow: /wp-content/uploads/
host: site.ru
Sitemap: https://site.ru/sitemap.xml

Надо отделить YandexImages и Yandex

Код:

User-agent: YandexImages
Allow: /wp-content/uploads/
User-agent: Yandex
host: site.ru
Sitemap: [url]https://site.ru/sitemap.xml[/url]

Wmlogs · 24.04.16

вот как один из вариантов, выделил жирным вторую строку, это папка с активной темой. Это если делать с учетом требований гугла

Там все нормально вроде бы, а Yandex и YandexImages разные боты. Их действительно нужно отделить, как указали выше.

Mar$hall · 24.04.16

Надо отделить YandexImages и Yandex

Код:
User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Yandex
host: site.ru
Sitemap: https://site.ru/sitemap.xml

т.е. хотите сказать что акцент на картинки не обязательно делать?

Mar$hall · 24.04.16

ну видимо, для бота yandex действует общее условие, а для YandexImages отдельное. я еще плохо в этом разбираюсь

Wmlogs · 24.04.16

т.е. хотите сказать что акцент на картинки не обязательно делать?

Ну в той части, где Вы разрешили боту Yandex Images индексировать указанную директорию, Вы тем самым сообщили нужному боту где искать картинки.

Wmlogs · 24.04.16

Forstman написал(а):
ну видимо, для бота yandex действует общее условие, а для YandexImages отдельное. я еще плохо в этом разбираюсь

Дело не только в условиях, а в том, что yandex images индексирует только картинки. А основной бот остальное.

Mar$hall · 24.04.16

В общем решил остановиться на таком варианте

User-agent: *
Allow: /wp-content/themes/newsanchor/
Allow: /wp-content/plugins/
Allow: /wp-includes/js/
Allow: /wp-content/uploads/
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */author

host: site.ru

Sitemap: https://site.ru/sitemap.xml

Wmlogs · 24.04.16

В общем решил остановиться на таком варианте

host: понимает только Яндекс, лучше бы указать специально для Яндекс Бота. Хотя и так должно работать.

Mar$hall · 24.04.16

В общем решил остановиться на таком варианте
host: понимает только Яндекс, лучше бы указать специально для Яндекс Бота. Хотя и так должно работать.

тоже решил что и так должно работать

Правильная версия файла robot.txt

Mar$hall

Флоппи

Sutramana

Sutramana

Mar$hall

Mar$hall

Wmlogs

Sutramana

Mar$hall

Флоппи

Wmlogs

Mar$hall

Mar$hall

Wmlogs

Wmlogs

Mar$hall

Wmlogs

Mar$hall