- 07, Sep 2012
- #1
Robots.txt - текстовый файл в корневом каталоге Вашего ресурса.
Понятно? - Нет! Тогда давайте разбираться, что же это всё-таки за файл.
Robots.txt - это текстовый файл, который содержит инструкции и алгоритмы действия поисковых систем на Вашем сайте.
Например, с помощью Robots.txt Вы можете запретить индексацию некоторых страниц, которые Вы хотели бы оградить от выдачи в поиске по той или иной причине.
К примеру, Вам совсем не нужно, чтобы технические разделы ресурса индексировались поисковиком.
Также, как говорилось в прошлом видео-ролике, в Robots.txt можно прописать путь к Sitemap.xml.
То есть, как ни странно, файл позволяет несколько направить и скорректировать действия роботов поисковой системы на вашем сайте.
С предназначением всё ясно, теперь передём к созданию.
Создать файл довольно просто - в обычном блокноте, даже не меняя расширение, как в случае с Sitemap.xml.
Зайдя на Ваш ресурс, первое, что увидет поисковый робот - Robots.txt.
Настроить файл можно используя 2 директивы: User-Agent и Disallow.
Если на Вашем сайте есть несколько зеркал, также используется директива Host; так же, как уже говорилось ранее, директива Sitemap; Crawl-Delay (подробнее о директивах в видео-уроке). Главное помнить, что именно корректная настройка файла Robots.txt крайне важна.
Некорректная настройка приведёт либо к отображению страниц конфиденциального характера, либо к закрытию от индекса страниц с информацией, которую Вы бы хотели видеть в поисковой выдаче.
Возникшие вопросы по созданию и настройке Robots.txt задавайте в комментариях.
Понятно? - Нет! Тогда давайте разбираться, что же это всё-таки за файл.
Robots.txt - это текстовый файл, который содержит инструкции и алгоритмы действия поисковых систем на Вашем сайте.
Например, с помощью Robots.txt Вы можете запретить индексацию некоторых страниц, которые Вы хотели бы оградить от выдачи в поиске по той или иной причине.
К примеру, Вам совсем не нужно, чтобы технические разделы ресурса индексировались поисковиком.
Также, как говорилось в прошлом видео-ролике, в Robots.txt можно прописать путь к Sitemap.xml.
То есть, как ни странно, файл позволяет несколько направить и скорректировать действия роботов поисковой системы на вашем сайте.
С предназначением всё ясно, теперь передём к созданию.
Создать файл довольно просто - в обычном блокноте, даже не меняя расширение, как в случае с Sitemap.xml.
Зайдя на Ваш ресурс, первое, что увидет поисковый робот - Robots.txt.
Настроить файл можно используя 2 директивы: User-Agent и Disallow.
Если на Вашем сайте есть несколько зеркал, также используется директива Host; так же, как уже говорилось ранее, директива Sitemap; Crawl-Delay (подробнее о директивах в видео-уроке). Главное помнить, что именно корректная настройка файла Robots.txt крайне важна.
Некорректная настройка приведёт либо к отображению страниц конфиденциального характера, либо к закрытию от индекса страниц с информацией, которую Вы бы хотели видеть в поисковой выдаче.
Возникшие вопросы по созданию и настройке Robots.txt задавайте в комментариях.
