Наличие технических ошибок на сайте может негативно повлиять на его рейтинг, что, в свою очередь, приведет к снижению поискового трафика и позиций в поисковых системах.
Для выявления технических ошибок необходимо провести комплексный технический SEO-аудит сайта.
Одним из наших главных помощников в этом сложном и трудоемком деле является настольная программа Screaming Frog.
О кричащей лягушке
Screaming Frog — это программа для сканирования веб-сайтов, ключевыми особенностями которой являются:- поиск битых ссылок;
- поиск ссылок с перенаправлением;
- поиск дубликатов страниц;
- анализ изображений;
- искать страницы, на которых отсутствуют метатеги или основной заголовок h1;
- извлечение элементов со страниц сайта;
- поиск пустых страниц или неинформативных страниц с очень небольшим содержанием.
Screaming Frog может сканировать весь сайт, определенный каталог или заданный вручную список страниц.
Чтобы не создавать большую нагрузку на сервер, вы можете остановить сканирование в любой момент. Важным преимуществом является то, что результат сканирования можно загрузить в формате csv или xlsx. Но есть и некоторые недостатки:
- сложный и интуитивно понятный интерфейс для новых пользователей;
- Данные хранятся в оперативной памяти вашего ПК, поэтому полноценно просканировать большой сайт довольно проблематично.
А также при работе с ПО ПК может тормозить;
- Программа платная (но есть бесплатная версия с ограничениями).
Поиск неработающих ссылок
Мы намеренно пропустили тему «Настройка Screaming Frog», поскольку в Интернете имеется большое количество мануалов по настройке программы, описаний интерфейса и вводной информации о том, как работать с программой и сканировать сайт. Перейдем непосредственно к техническому анализу сайта.Итак, мы просканировали сайт. Для поиска битых ссылок нужно найти справа вкладку «Код ответа» — «Ошибка клиента (4хх)».
Теперь мы видим список битых ссылок, если они есть на сайте.
Как определить, какие страницы содержат неработающие ссылки?
Вам необходимо выделить ссылку или выбрать несколько ссылок и выбрать вкладку «Входящие ссылки» слева внизу.Внизу появится список страниц, содержащих выбранную ссылку или список ссылок.
Рекомендуется удалять такие ссылки, так как большое количество битых ссылок может негативно повлиять на рейтинг сайта.
Как найти неработающие ссылки на странице сайта?
Если при просмотре страницы битая ссылка не бросается в глаза, нужно открыть код сайта «ctrl+shift+i», затем открыть форму поиска в коде «ctrl+a» и ввести адрес неработающей ссылке.
Битые ссылки можно размещать в текстах страниц.
В этом случае вам необходимо удалить ссылки вручную.
В некоторых случаях ссылка может быть размещена сразу на нескольких страницах.
Это указывает на то, что ссылка находится в меню, подвале или каком-либо другом сквозном блоке.
В этом случае вам не нужно заходить на каждую страницу отдельно, а можно просто удалить или заменить ссылку.
Почему битые ссылки — это плохо?
Неработающие ссылки не оказывают прямого влияния на рейтинг сайта, и за неработающие ссылки поисковые системы не наказывают. Однако они могут потратить часть краулингового бюджета поисковых роботов, снизить показатель качества сайта и увеличить количество сбоев.Кроме того, битые ссылки не передают вес другим страницам, а при наличии на них ссылок с внешних ресурсов вес такой ссылки не учитывается.
Поэтому неработающие ссылки необходимо удалять с сайта или заменять действительными.
Поиск ссылок с 301 редиректом
301 редирект – перенаправление со старого адреса на новый, если адрес страницы изменился, но содержимое не изменилось.Это сделано именно для того, чтобы не появлялись битые ссылки.
Но лучше сразу разместить ссылку с кодом ответа 200 на уже существующую страницу.
Если нет возможности поменять ссылки, то настройте 301 редирект. Обычно мы избавляемся от таких ссылок.
Поиск ссылок с 301 редиректом производится так же, как и поиск битых ссылок.
Вам необходимо найти справа вкладку «Код ответа» — «Перенаправление (3хх)».
Теперь мы видим список ссылок с 301 редиректами и других редиректов с кодом 3хх, если они есть на сайте.
Как определить, на каких страницах есть ссылки с 301 редиректом?
Поиск таких ссылок осуществляется так же, как и поиск битых ссылок.Вам необходимо выделить ссылку или выбрать несколько ссылок и выбрать вкладку «Входящие ссылки» слева внизу.
Внизу появится список страниц, содержащих выбранную ссылку, или список ссылок, как и в случае с неработающими ссылками.
Рядом есть вкладка Outlinks, где указаны страницы, на которые приходит редирект. 
Почему от таких ссылок желательно избавиться?
Небольшое количество таких ссылок никак не повлияет на ранжирование сайта.Однако если ссылок с редиректами много или такие ссылки размещены на всех страницах меню, футера или других сквозных блоков, рекомендуется заменить эти ссылки существующими страницами, на которых настроено редирект. Такие ссылки не несут информации о том, почему происходит перенаправление на другой адрес, что затрудняет обработку этого перенаправления поисковыми системами.
Поиск дубликатов страниц
Наличие дублирующих страниц отрицательно влияет на ранжирование сайта, поскольку из двух страниц поисковые системы, скорее всего, проиндексируют только одну, наиболее релевантную, по их мнению.Дублированные страницы могут быть страницами с разным содержанием, но с одинаковыми тегами заголовков.
Бывает, что страницы услуг и статьи имеют одинаковые теги заголовков, и такие страницы считаются дубликатами.
При этом цель запросов совершенно разная: первый – информационный, второй – коммерческий.
Чтобы избежать дублирования, следует сначала проверить сайт на наличие дубликатов заголовков и, если они есть, откорректировать метатеги.
Как найти повторяющиеся заголовки?
Выберите вкладку «Названия страниц» — «Дублировать» справа и получите список страниц, на которых дублируются метатеги.
В случае, если страницы имеют разное содержимое и одинаковые теги заголовков, необходимо скорректировать метатеги.
Если страницы идентичны и по тегам, и по содержанию, следует удалить одну страницу и настроить 301-редирект с адреса удаляемой страницы на существующую.
Это поможет, если ссылки на удаленные страницы размещены на других сайтах или находятся в индексе.
Здесь нужен 301 редирект, чтобы пользователи попадали не на удаленную страницу, а на нужную.
Но на самом сайте такие ссылки нужно удалять.
Поэтому мы рекомендуем сразу проверить, есть ли на сайте ссылки на удаленную страницу (см.
инструкцию выше) и заменить их существующей страницей.
Анализ заголовка H1
На каждой странице должен быть основной заголовок.теги, которые максимально подробно и в то же время кратко отражают содержание страницы.
Это позволяет поисковым системам точнее определять, какая информация размещена на странице.
При проведении SEO-аудита необходимо проверить наличие основного заголовка на всех страницах сайта.
Кроме того, только один основной заголовок должен быть отмечен знаком теги.
Как найти страницы, на которых отсутствует основной заголовок h1?
Вам необходимо выбрать вкладку «H1» — «Отсутствует> » справа.Вы увидите список страниц, на которых отсутствует заголовок h1. Вам следует добавить этот заголовок на все страницы сайта.
В этом же блоке справа во вкладке «Несколько» будут страницы, где есть несколько заголовков h1. В этом случае необходимо удалить второй заголовок, если он дублирует первый или в нем нет необходимости, либо пометить заголовок тегами.
- в соответствии со своей иерархией.
Мы также рекомендуем проверить вкладку «Дублировать» на наличие повторяющихся заголовков h1. В общем, дублирование h1 не является проблемой.
Однако при большом количестве дублей рекомендуем корректировать заголовки, особенно на страницах товаров/услуг/статей и в тех случаях, когда на сайте настроена автоматическая генерация метатегов.
Проверка наличия и корректности Canonical
Во избежание дублирования страниц рекомендуется на всех страницах размещать атрибут Canonical с указанием канонической (главной) страницы.Атрибут rel=canonical Тег сообщает поисковым системам, что некоторые страницы могут быть одинаковыми, несмотря на разные URL-адреса (например, страницы с разбивкой на страницы).
Наличие данного атрибута не является фактором ранжирования, но в ряде случаев может положительно повлиять на индексацию сайта и избежать появления дублей страниц, например при добавлении GET-параметров (рекламные теги, сортировка и т.д.) URL-адрес.
Для того, чтобы проверить, на каких страницах находится данный атрибут и правильно ли указаны ссылки, нужно выбрать справа вкладку «Каноники» — «Все».
Во вкладке «Отсутствует» вы можете увидеть список страниц, на которых данный атрибут отсутствует. 
Нахождение пустых или неинформативных страниц
Наличие пустых или неинформативных страниц может негативно повлиять на рейтинг сайта.Чаще всего такие страницы исключаются из индекса поисковых систем.
Рекомендуется удалять такие страницы или модифицировать их, чтобы страница полностью отвечала на вопросы пользователя.
Для поиска пустых или неинформативных страниц нужно выбрать справа вкладку «Сканировать Дара» — «Внутренние» — «Все».
С помощью формы поиска следует фильтровать страницы с контентом.
Далее необходимо найти в поле списка страниц столбец «Количество слов», отсортировать список страниц в порядке убывания количества слов и вручную проверить страницы с низким количеством слов в тексте страницы.
Тег ключевых слов для спама
Тег «Ключевые слова» уже давно игнорируется поисковыми системами как фактор ранжирования и не оказывает положительного влияния.Однако при наличии на сайте спам-текстов и мета-тегов этот тег может стать одним из сигналов того, что страницу продвигают неестественными способами.
Чтобы избежать подобных ситуаций, мы рекомендуем удалить теги «Ключевые слова» со всех страниц сайта.
Чтобы найти страницы, где находится этот тег, вам нужно выбрать справа вкладку «Мета-ключевые слова» — «Отсутствует», и вы увидите список страниц, где этот тег присутствует. 
Анализ изображений
Изображения на веб-сайте очень важны для продвижения, а правильная оптимизация изображений может положительно повлиять на рейтинг веб-сайта и привлечь дополнительный трафик, например, из поиска изображений.Чтобы начать анализ изображений, перейдите на вкладку «Данные сканирования» — «Внутренние» — «Изображения» справа.
Вы увидите список ссылок на изображения.
Вам необходимо проверить код ответа сервера в столбце «Код состояния» — все ссылки должны возвращать код ответа 200. Битые изображения следует удалить или заменить существующими.
Если служебные папки закрыты, рекомендуем открыть изображения в файле robots.txt, чтобы они проиндексировались поисковыми системами.
Также следует проверить вес изображений в столбце «Размер».
Мы рекомендуем сжимать изображения весом более 3 МБ, чтобы они не замедляли скорость загрузки страниц.
Анализ тегов Noindex и Nofollow
Некоторые страницы могут содержать теги noindex и nofollow. Чаще всего такие теги используются для намеренного закрытия страниц, которые не подлежат индексации.Однако некоторые теги могут быть размещены на страницах сайта неправильно, в результате чего нужные страницы не попадут в индекс и не принесут трафик.
Поэтому мы рекомендуем проверять наличие этих тегов на страницах сайта.
Для этого нужно выбрать справа вкладку «Директивы» — «noindex» и «nofollow» и проверить, размещены ли эти теги на страницах, необходимых для продвижения.
Если такие теги присутствуют на важных страницах, рекомендуем удалить их из кода, чтобы страницы индексировались поисковыми системами.
Извлечение элементов со страниц сайта
Иногда возникает необходимость извлечь какой-то элемент со страниц сайта.Например, подзаголовки, цены, названия отдельных блоков и т. д. В случае с нашим клиентом мы обнаружили, что на некоторых страницах отсутствуют цены.
Наличие цены на коммерческих страницах является одним из факторов ранжирования, в связи с чем мы подготовили рекомендацию о необходимости размещения цены на всех страницах сайта.
Чтобы подготовить список страниц, на которых нет цены, мы использовали функцию Custom Extraction. Как это сделать? Для начала вам необходимо определить, где на странице сайта находится нужный элемент и скопировать стиль этого элемента.
В интерфейсе Screaming Frog нужно выбрать вкладку Конфигурация – Пользовательские – Извлечение.
Далее вам нужно добавить новый элемент, нажав кнопку «Добавить», и выбрать метод извлечения — CSSPath и что извлечь — Extract Inner HTML. Далее указываем CSS-стиль элемента, который мы предварительно скопировали из кода сайта, и ставим точку перед названием стиля.
После этого приступаем к разбору.
Нас интересуют только страницы сервисов, поэтому фильтровать нужно только те страницы раздела /services/, где расположены ссылки на страницы сервисов.
И мы получаем список извлеченных страниц и элементов и можем найти страницы, на которых цена отсутствует. 
Функциональность Custom Extraction довольно сложна; мы привели лишь небольшой пример того, как его можно использовать для извлечения элементов страницы.
Если вам интересно, мы можем поговорить о возможностях этой функции более подробно в следующей статье.
выводы
Мы рассмотрели основные моменты, которые всегда следует проверять при проведении технического SEO-аудита в Screaming Frog. Многие технические проблемы/недостатки могут не оказывать прямого влияния на рейтинг сайта, однако в совокупности большое количество технических ошибок может существенно затруднить поисковое продвижение.Обратите внимание, что технический анализ необходимо проводить не только через Screaming Frog, но и с помощью других инструментов, таких как Яндекс.
Вебмастер и Google Search Console. Мы рекомендуем не останавливаться на одной технической проверке и проводить такой анализ раз в 1-3 месяца, в зависимости от обновления страниц сайта.
Стоит учитывать, что устранение технических недостатков не гарантирует улучшения позиций и увеличения поискового трафика.
Чтобы повысить видимость сайта в поисковых системах, необходимо комплексно доработать техническую составляющую сайта, коммерческие факторы, работу с текстами и метатегами, структуру сайта, ссылочную среду и другие факторы.
Если у вас остались вопросы, мы готовы ответить на них в комментариях.
А если вопросов много, мы раскроем их подробнее в следующих статьях.
Теги: #Canonical #Разработка сайтов #Тестирование веб-сервисов #Поисковые технологии #Оптимизация клиента #Анализ изображений #битые ссылки #Кричащая лягушка #технический аудит #SEO-аудит #301 редирект #Ключевые слова #Извлечение элементов
-
Обзор Игры Prey Для Linux
19 Oct, 24
