- 24, Apr 2016
- #1
приветствую форумчан!
Кучу материала перелопатил по этому вопросу и решил спросить об этом у знающих вебмастеров.
Какой он все таки ПРАВИЛЬНЫЙ robot.txt для блога на wordpress ??
приветствую форумчан!Robots.txt это просто инструмент и не зависит от CMS. Все зависит от того, что именно вы хотите сообщить поисковикам. Все это делается в robots.txt Важный момент ИМХО - это конечно указать основной домен яндексу, а также карту сайта. Все остальное на усмотрение.
Кучу материала перелопатил по этому вопросу и решил спросить об этом у знающих вебмастеров.
Какой он все таки ПРАВИЛЬНЫЙ robot.txt для блога на wordpress ??
Все зависит от того, что именно вы хотите сообщить поисковикамвот я и хочу узнать, что лучше показывать поисковикам, а что нельзя. Прочитал, например что гугл чуть ли не требует доступа к файлам шаблона, а яндекс может выругаться на это. Проблема в том, что все материалы которые я находил двухлетней и более давности.
Зайдите на разные популярные блоги на вордпресс и смотрите как у них устроено. Сделайте выводы и применяйте к своему сайту.и почему вы думаете, что я этого не сделал до того как написал на форуме?
вот я и хочу узнать, что лучше показывать поисковикам, а что нельзя.То что должно быть индексировано ( статьи и изображения ) надо сообщить.
и почему вы думаете, что я этого не сделал до того как написал на форуме?Собственно я об этом вообще не думал. Какой смысл гадать? ))
User-agent: *вот как один из вариантов, выделил жирным вторую строку, это папка с активной темой. Это если делать с учетом требований гугла
Allow: /wp-content/themes/frontend
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */author
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
host: site.ru
Sitemap: https://site.ru/sitemap.xml
User-agent: YandexImagesНадо отделить YandexImages и Yandex
Allow: /wp-content/uploads/
host: site.ru
Sitemap: https://site.ru/sitemap.xml
User-agent: YandexImages
Allow: /wp-content/uploads/
User-agent: Yandex
host: site.ru
Sitemap: [url]https://site.ru/sitemap.xml[/url]вот как один из вариантов, выделил жирным вторую строку, это папка с активной темой. Это если делать с учетом требований гуглаТам все нормально вроде бы, а Yandex и YandexImages разные боты. Их действительно нужно отделить, как указали выше.
Надо отделить YandexImages и Yandexт.е. хотите сказать что акцент на картинки не обязательно делать?
Код:
User-agent: YandexImages
Allow: /wp-content/uploads/
User-agent: Yandex
host: site.ru
Sitemap: https://site.ru/sitemap.xml
т.е. хотите сказать что акцент на картинки не обязательно делать?Ну в той части, где Вы разрешили боту Yandex Images индексировать указанную директорию, Вы тем самым сообщили нужному боту где искать картинки.
ну видимо, для бота yandex действует общее условие, а для YandexImages отдельное. я еще плохо в этом разбираюсьДело не только в условиях, а в том, что yandex images индексирует только картинки. А основной бот остальное.
User-agent: *
Allow: /wp-content/themes/newsanchor/
Allow: /wp-content/plugins/
Allow: /wp-includes/js/
Allow: /wp-content/uploads/
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */author
host: site.ru
Sitemap: https://site.ru/sitemap.xml
В общем решил остановиться на таком вариантеhost: понимает только Яндекс, лучше бы указать специально для Яндекс Бота. Хотя и так должно работать.
В общем решил остановиться на таком вариантетоже решил что и так должно работать
host: понимает только Яндекс, лучше бы указать специально для Яндекс Бота. Хотя и так должно работать.
![[Друганов В] О чем молчат турагенства Мастер-Класс](/assets/images/icons/forum4.png){kind=icon}
![[Д.Ризаев, П.Куксенко] Как покупать имущество должников за 1-40% от рыночной стоимости](/assets/images/icons/forum1.png){kind=icon}
![[-] Схема Стабильного Заработка От 310-610 Руб В Сутки](/assets/images/icons/forum2.png){kind=icon}
![[Специалист] Практикум (МАСТЕР): Полнотекстовый поиск в SQL Server (2018)](/assets/images/icons/forum0.png){kind=icon}