Seo – Google Продолжает Сканировать Несуществующие Страницы.

Я создал простой новый веб-сайт, который заработал около полутора месяцев назад (заменив предыдущий). На сайте появились новые страницы, например разметка навигации:

 <div class="header">

<div class="navigation menu">

<ul>

<li><a href="index.php">Home page</a></li>

<li><a href="products.php">Products</a></li>

<li><a href="reference.php">Reference</a></li>

<li><a href="about_us.php">About us</a></li>

<li><a href="contact.php">Contact</a></li>

</ul>

</div>
</div>
 

Проблема в том, что сканеры Google продолжайте искать старые страницы, которые я удалил и которых нет на сервере.

Я продолжаю удалять ошибки сканирования (помечено как исправленное) в инструментах для веб-мастеров, но сканеры продолжают пытаться просканировать эти страницы.

Я считаю, что последняя версия веб-сайта где-то закеширована, есть ли способ ее удалить? (У меня нет большого опыта работы с инструментами Google для веб-мастеров.)

#seo #google-search-console #веб-сканеры

Это будет происходить в течение очень долгого времени. Другие сайты могут ссылаться на старые URL-адреса, что заставит Google просканировать их, и/или у вашего сайта могут быть проблемы (с точки зрения Google), и это дает вам преимущество в том, что страницы могут вернуться. В любом случае Google продолжает сканировать старые страницы еще долгое время. Для Google было бы гораздо хуже внезапно прекратить сканировать ваши страницы после получения нескольких ошибок 404.

Если страницы действительно не существуют и альтернативы нет, то правильно будет вернуть ошибку 404 (не найдено). Или вы можете вместо этого вернуть 410 (Gone) для этих страниц, которые никогда не вернутся - это гораздо более сильный/определенный признак для Google, что страницы не вернутся.

Обратите внимание, что выдача 404 (или 410) для этих страниц и сообщение о них как таковых в GWT не обязательно является чем-то плохим и само по себе не окажет пагубного влияния на ваш сайт. Это частный отчет для вашего удобства.

Однако что может быть плохо для SEO, так это наличие других сайтов, ссылающихся на вашу старую страницу, которые в противном случае прошли бы PageRank. Вернув 404, эти сайты больше не смогут пройти этот PageRank. Если у вас есть альтернативные страницы для удаленных, то 301 перенаправит на новое место, чтобы сохранить ваш рейтинг, помочь поисковым системам переиндексировать ваш контент и… порадовать своих пользователей. Но если вы просто удалили старый контент, а не заменили его, вам нужно быть готовым к потенциальному SEO-удару.

Возможно, это не лучший и правильный способ сделать это, но у меня была та же проблема. В конце концов я сделал перенаправление на домашнюю страницу или ошибку 404. Мне нужно было проверить, есть ли у меня перенаправление, но я больше не получаю ошибку сканирования.