Google прекратил подсчитывать или, по крайней мере, публично демонстрировать количество проиндексированных страниц в сентябре 2005 года после школьного «соревнования по измерению» с конкурентом Yahoo. Это количество превысило около 8 миллиардов страниц, прежде чем оно было удалено с главной страницы. Недавно на различных SEO-форумах появилась новость о том, что Google внезапно за последние несколько недель добавил в индекс еще несколько миллиардов страниц. Это может звучать как повод для празднования, но это «достижение» не отразится хорошо на поисковой системе, которая его достигла.
Что волновало людей, так это природа новых, нескольких миллиардов страниц. Это были явные спам-объявления с оплатой за клик (PPC), соскобленный контент и во многих случаях они хорошо отображались в результатах поиска. При этом они вытеснили гораздо более старые и авторитетные сайты. Представитель Google ответил на этот вопрос на форуме, назвав его «продвижением плохих данных», что вызвало различные возражения в SEO-сообществе.
Как кому-то удалось обманом заставить Google проиндексировать такое количество спам-страниц за такой короткий период времени? Я предоставлю общий обзор процесса, но не слишком волнуйтесь. Подобно тому, как схема ядерного взрывного устройства не научит вас, как сделать настоящую вещь, вы не сможете убежать и сделать это самостоятельно после прочтения этой статьи. Тем не менее, это интересная история, иллюстрирующая ужасные проблемы, возникающие все чаще и чаще в самой популярной поисковой системе в мире.
Темная и бурная ночь
Наша история начинается глубоко в сердце Молдавии, живописно зажатой между Румынией и Украиной. В перерывах между отбиванием местных вампирских нападений предприимчивому местному жителю пришла в голову блестящая идея, и он убежал с ней, предположительно, подальше от вампиров. Его идея заключалась в том, чтобы использовать то, как Google обрабатывает поддомены, и не просто немного, а по-крупному. .
Суть проблемы заключается в том, что в настоящее время Google рассматривает субдомены почти так же, как и полные домены, — как уникальные объекты. Это означает, что он добавит домашнюю страницу поддомена в индекс и через какой-то момент вернется для «глубокого сканирования». Глубокое сканирование — это просто паук, который следует по ссылкам с домашней страницы домена глубже в сайт, пока не найдет все или не сдастся и не вернется позже за дополнительными сведениями.
Вкратце, поддомен — это «домен третьего уровня». Вы, наверное, видели их раньше, они выглядят примерно так: subdomain.domain.com. Википедия, например, использует их для обозначения языков; английская версия — «en.wikipedia.org», голландская версия — «nl.wikipedia.org». Субдомены — это один из способов организации больших сайтов, в отличие от нескольких каталогов или даже отдельных доменных имен.
Итак, у нас есть своеобразная страница, которую Google будет индексировать практически «без вопросов». Удивительно, что никто не воспользовался этой ситуацией раньше. Некоторые комментаторы полагают, что причиной этого может быть эта «причуда», появившаяся после недавнего обновления «Большого папочки». Наш восточноевропейский друг собрал несколько серверов, парсеров контента, спам-ботов, PPC-аккаунтов и несколько очень важных, очень вдохновляющих скриптов и смешал их все вместе таким образом.
Пять миллиардов обслужено и продолжает расти.
Во-первых, наш герой создал сценарии для своих серверов, которые, когда GoogleBot заходил, начинали генерировать практически бесконечное количество поддоменов, все с одной страницей, содержащей очищенный контент с большим количеством ключевых слов, ссылки с ключевыми словами и рекламу PPC для этих ключевых слов. Спам-боты рассылаются, чтобы выследить робота GoogleBot посредством рефералов и спама в комментариях в десятках тысяч блогов по всему миру. Спам-боты обеспечивают широкую настройку, и не нужно много времени, чтобы заставить домино упасть.
GoogleBot находит спам-ссылки и, как и его цель в жизни, следует по ним в сеть. Как только GoogleBot отправляется в Интернет, сценарии, управляющие серверами, просто продолжают генерировать страницы — страница за страницей, все с уникальным поддоменом, все с ключевыми словами, очищенным контентом и рекламой PPC. Эти страницы индексируются, и внезапно вы получаете индекс Google на 3-5 миллиардов страниц тяжелее менее чем за 3 недели.
Отчеты показывают, что сначала реклама PPC на этих страницах была от AdSense, собственного PPC-сервиса Google. Высшая ирония заключается в том, что Google получает финансовую выгоду от всех показов, которые взимаются с пользователей AdSense, когда они появляются на этих миллиардах спам-страниц. В конце концов, главное — это доходы от AdSense. Втисните так много страниц, чтобы благодаря простому количеству людей люди находили рекламу на этих страницах и нажимали на нее, что приносило спамеру хорошую прибыль за очень короткий промежуток времени.
Миллиарды или миллионы? Что такое Сломанный?
Слухи об этом достижении распространились на форумах DigitalPoint со скоростью лесного пожара. Если быть точным, это распространилось как лесной пожар в сообществе SEO. «Широкая публика» пока что не в курсе событий и, вероятно, так и останется. Ответ инженера Google появился в ветке Threadwatch по этой теме, назвав это «передачей неверных данных». По сути, линия компании заключалась в том, что они фактически не добавили 5 миллиардов страниц. Более поздние заявления включают заверения, что проблема будет решена алгоритмически. Те, кто следит за ситуацией (отслеживая известные домены, которые использовал спамер), видят лишь то, что Google удаляет их из индекса вручную.
Отслеживание осуществляется с помощью команды site:. Команда, которая теоретически отображает общее количество проиндексированных страниц сайта, указанного вами после двоеточия. Google уже признал, что с этой командой есть проблемы, и «5 миллиардов страниц», как они заявляют, — это всего лишь еще один их симптом. Эти проблемы выходят за рамки просто команды site:, но и отображения количества результатов для многих запросов, которые некоторые считают крайне неточными и в некоторых случаях сильно колеблются. Google признает, что они проиндексировали некоторые из этих спам-поддоменов, но до сих пор не предоставили никаких альтернативных цифр, которые могли бы оспорить 3-5 миллиардов, первоначально показанных с помощью команды site:.
За последнюю неделю количество проиндексированных спам-доменов и поддоменов неуклонно сокращалось, поскольку сотрудники Google удаляли их вручную. Официального заявления о том, что «лазейка» закрыта, не поступало. Это создает очевидную проблему: поскольку путь был показан, появится множество подражателей, торопящихся нажиться, прежде чем алгоритм будет изменен, чтобы справиться с ним.
Выводы
Здесь сломано как минимум две вещи. Сайт: команда и малоизвестный крошечный фрагмент алгоритма, который позволил миллиардам (или, по крайней мере, миллионам) спам-поддоменов попасть в индекс. Текущим приоритетом Google, вероятно, должно быть закрытие лазейки, прежде чем они будут похоронены в спамерах-подражателях. Проблемы, связанные с использованием или неправильным использованием AdSense, вызывают беспокойство и у тех, кто, возможно, видит небольшую отдачу от своего рекламного бюджета в этом месяце.
Сохраним ли мы веру в Google перед лицом этих событий? Скорее всего, да. Дело не столько в том, заслуживают ли они такой веры, сколько в том, что большинство людей никогда не узнают, что это произошло. Спустя несколько дней после того, как эта история стала известна, в «основной» прессе все еще очень мало упоминаний. Некоторые технические сайты упоминали об этом, но это не та история, которая попадет в вечерние новости, главным образом потому, что базовые знания, необходимые для ее понимания, выходят за рамки того, что способен собрать средний гражданин. Эта история, вероятно, станет интересной сноской в самом эзотерическом и неотерическом из миров — «Истории SEO».
-
Заработок В Интернете - Домашний Бизнес
19 Oct, 24 -
Не Украшайте Свою Машину! Украсьте Его!!
19 Oct, 24 -
Электронная Коммерция – Благо Для Бизнеса
19 Oct, 24 -
`Делать То, Что Необходимо Для Успеха"
19 Oct, 24 -
Построение Бизнеса В Сетевом Маркетинге
19 Oct, 24 -
Универсальный Закон Притяжения
19 Oct, 24 -
Подводные Камни Продаж На E-Bay
19 Oct, 24
