- 01, Jun 2015
- #1
Содержание многих сайтов меняется.
Поэтому поисковые роботы регулярно их переобходят.
Правда, новые данные попадают в поиск не сразу после переиндексации, а через какое-то время — при обновлении поисковой базы.
Обычно это происходит 1-2 раза в неделю.
Поэтому если вы только что открыли сайт или исправили опечатки в тексте, не беспокойтесь, что этих данных ещё нет в поиске. Есть сайты, новый контент которых попадает в поиск очень быстро.
К ним относятся крупные популярные ресурсы с часто обновляемой информацией — например, сайты СМИ.
У Яндекса есть специальный быстрый робот, который индексирует такие ресурсы и сразу же добавляет свежие данные в поиск.
. Карта нужна для того, чтобы робот не пропустил какие-нибудь страницы сайта.
Наличие такой карты особенно важно для крупных ресурсов со сложной структурой. Чтобы робот мог пользоваться вашей картой, она должна быть не больше 10 МБ (в несжатом виде), содержать не более 50 тысяч страниц и располагаться в том же домене, что и включённые в неё страницы.
Если карта не отвечает этим требованиям, можно разбить её на несколько файлов и указать их в файле индекса Sitemap. Чаще всего карта сайта создается автоматически.
Наиболее распространённые форматы карт —текстовый и XML.
Яндекс поддерживает оба.
Однако лучше использовать формат XML, потому что в нём есть дополнительные поля.
Они позволяют указать значимость страницы, частоту её обновления и дату последних изменений.
Давайте попробуем прочитать Sitemap, чтобы понять, какая информация там отражена. Перед вами карта сайта, который состоит всего из двух страниц Например, вот какая информация приводится о странице https://site.ru
Если карта сайта содержит ошибки, робот может воспринять её неправильно или вообще не сможет прочитать. Проверить карту легко на сервисеЯндекс.Вебмастер
— с помощью инструмента «Валидатор файлов Sitemap»
.
https://video.yandex.ru/users/ya-expert/view/68
Ссылку на карту сайта желательно разместить в robots.txt
. Как вы знаете, для поисковых роботов этот файл обязателен для прочтения. После того как робот обнаружит карту сайта в robots.txt, она отобразится на сервисе Яндекс.Вебмастер
. Вот как можно указать ссылку на Sitemap в robots.txt:User-agent: *
Allow: /
Sitemap: https://site.ru/sitemap.xml
. Источник: https://edu.expert.yandex.ru/Webmaster/3/26/
Поэтому поисковые роботы регулярно их переобходят.
Правда, новые данные попадают в поиск не сразу после переиндексации, а через какое-то время — при обновлении поисковой базы.
Обычно это происходит 1-2 раза в неделю.
Поэтому если вы только что открыли сайт или исправили опечатки в тексте, не беспокойтесь, что этих данных ещё нет в поиске. Есть сайты, новый контент которых попадает в поиск очень быстро.
К ним относятся крупные популярные ресурсы с часто обновляемой информацией — например, сайты СМИ.
У Яндекса есть специальный быстрый робот, который индексирует такие ресурсы и сразу же добавляет свежие данные в поиск.
Поисковые роботы обычно сами определяют, какие страницы сайта необходимо обойти. Но вы можете им помочь.
Как люди используют карту, чтобы посетить все интересующие их места, так и роботы предпочитают двигаться по сайту с помощью специальной карты. Она называется Sitemap. Карта нужна для того, чтобы робот не пропустил какие-нибудь страницы сайта.
Наличие такой карты особенно важно для крупных ресурсов со сложной структурой. Чтобы робот мог пользоваться вашей картой, она должна быть не больше 10 МБ (в несжатом виде), содержать не более 50 тысяч страниц и располагаться в том же домене, что и включённые в неё страницы.
Если карта не отвечает этим требованиям, можно разбить её на несколько файлов и указать их в файле индекса Sitemap. Чаще всего карта сайта создается автоматически.
Наиболее распространённые форматы карт —текстовый и XML.
Яндекс поддерживает оба.
Однако лучше использовать формат XML, потому что в нём есть дополнительные поля.
Они позволяют указать значимость страницы, частоту её обновления и дату последних изменений.
Давайте попробуем прочитать Sitemap, чтобы понять, какая информация там отражена. Перед вами карта сайта, который состоит всего из двух страниц Например, вот какая информация приводится о странице https://site.ru
Если карта сайта содержит ошибки, робот может воспринять её неправильно или вообще не сможет прочитать. Проверить карту легко на сервисеЯндекс.Вебмастер
— с помощью инструмента «Валидатор файлов Sitemap»
.
https://video.yandex.ru/users/ya-expert/view/68
Ссылку на карту сайта желательно разместить в robots.txt
. Как вы знаете, для поисковых роботов этот файл обязателен для прочтения. После того как робот обнаружит карту сайта в robots.txt, она отобразится на сервисе Яндекс.Вебмастер
. Вот как можно указать ссылку на Sitemap в robots.txt:
User-agent: *
Allow: /
Sitemap: https://site.ru/sitemap.xml
Совет
Поддомены рассматриваются поисковой системой как отдельные сайты, поэтому нельзя размещать в Sitemap ссылки на страницы поддоменов. Для каждого поддомена нужно создать свою карту сайта.Задание
Попробуйте проверить, отображается ли Sitemap вашего сайта вЯндекс.Вебмастере. Источник: https://edu.expert.yandex.ru/Webmaster/3/26/
![[Егор Дата] 40 виджетов с известного сайта Musegain.com](/assets/images/icons/forum6.png){kind=icon}
