Как управлять индексированием сайта

Чтобы попасть в поиск, сайт должен быть доступен для поисковых роботов. Иначе они не смогут его проиндексировать.

Одна из причин недоступности сайта — это сбой на сервере.

В этом случае не только поисковые роботы, но и пользователи не смогут зайти на сайт.

А если он будет недоступен продолжительное время, поисковые системы удалят его из своих баз, чтобы поддерживать их в актуальном состоянии.

Поэтому важно следить за тем, чтобы сервер исправно отвечал на запросы. Проверить, отвечает сервер или нет, можно на сервисе Яндекс.Вебмастер:
https://video.yandex.ru/users/ya-expert/view/66

Если сайт отвечает на запрос и доступен для поискового робота,Яндекс.Вебмастер

показывает статус 200. Остальные статусы передают какую-то другую информацию. Например, статус 404 обозначает, что запрашиваемая страница была удалена. Описание статусов можно найти в разделе«Помощь»

сервиса Яндекс.Вебмастер.

У многих сервисов Яндекса есть свой поисковый робот.

Например, свой робот есть у Поиска, Яндекс.Картинок, Яндекс.Видео, Яндекс.Каталога.

И у каждого робота свои задачи и правила работы.

Иногда сервер может быть настроен так, что он пропускает на сайт основной робот Яндекса, но не жалует роботов Яндекс.Видео и Яндекс.Картинок — это значит, что контент сайта, скорее всего, не попадёт на эти сервисы.

Поэтому, если вы заметили, что какой-то тип контента плохо индексируется, проверьте, попадает ли нужный робот на ваш ресурс.
Совет На сервисе Яндекс.Вебмастер

вы можете получать уведомления о сбое в индексировании сайта. Если вы хотите получать уведомления о том, что сайт недоступен для пользователей, воспользуйтесь Яндекс.Метрикой

. Она умеет присылать такие уведомления по смс или электронной почте.

Задание

Попробуйте узнать, попадают ли на ваш сайт роботы Яндекс.Картинок, Яндекс.Видео и основной робот Яндекса. Обратите внимание, что инструмент доступен только для подтверждённых сайтов

. Источник: https://edu.expert.yandex.ru/Webmaster/3/24/

Владелец сайта может влиять на то, как индексируется его ресурс. Например, вы можете запросто закрыть для поисковой системы определённые разделы своего сайта.

Для этого нужно добавить соответствующие команды в файл robots.txt — он находится в корневой папке сайта.

Именно к этому файлу обращаются поисковые роботы, чтобы узнать, что можно индексировать, а что нет. Поисковые системы исходят из того, что индексировать можно всё, что не запрещено.

Поэтому владельцу сайта нужно самому позаботиться о том, чтобы в поиск не попала конфиденциальная информация — например, личные данные пользователей, их переписка или счета.

Такие страницы нужно запретить индексировать.

Рекомендуем также закрыть страницы со служебной информацией и страницы-дубликаты.

Многие системы управления сайтами (CMS) автоматически создают файл robots.txt и команды для роботов.

Проверить, правильно ли настроены команды, можно на сервисе Яндекс.Вебмастер — с помощью инструмента «Анализатор robots.txt»:
https://video.yandex.ru/users/ya-expert/view/67

Анализатор помогает найти ошибки в файле robots.txt, проверить, все ли команды прописаны верно и понятны роботу, и узнать, разрешена ли к индексированию конкретная страница.

Файл robots.txt позволяет закрыть для индексирования весь контент страницы.

Если вы хотите закрыть только какую-то часть контента, используйте мета-тег noindex

. Этот тег не даёт индексировать заключенный в него текст, но не мешает поисковой системе переходить по ссылкам внутри текста.

Совет

Чтобы узнать, какие разделы сайта и в каком объёме уже проиндексированы, воспользуйтесь инструментом «Структура сайта»

в Яндекс.Вебмастере

.

Задание

Попробуйте проанализировать файл robots.txt. Источник: https://edu.expert.yandex.ru/Webmaster/3/25