Googlebot Начал Делать Post-Запросы Через Ajax

Поисковый робот Google постоянно совершенствуется, чтобы получить доступ к относительно частным частям веб-сайтов.

В 2008 году робот Googlebot начал отправлять формы GET, а этим летом - выполнить JavaScript .

Теперь пришло время передать данные на сервер методом POST. Веб-мастер сайта «thumbtack.com» демонстрирует примеры таких запросов в логах Apache за сентябрь-октябрь 2011 года.

Запросы поступают с IP-адресов, которые на самом деле принадлежат сканеру Google: 66.249.71.47, 66.249.72.198, 66.249.72.207.

 66.249.71.47 - - [04/Sep/2011:04:53:52 +0000] "POST /act/site/clienterror HTTP/1.1" 200 36 " http://www.thumbtack.com/ma/malden/dog-walking/dog-walking-and-pet-care-services " "Mozilla/5.0 (compatible; Googlebot/2.1; + http://www.google.com/bot.html )"

 66.249.72.198 - - [25/Sep/2011:04:27:50 +0000] "POST /act/site/clienterror HTTP/1.1" 200 36 " http://www.thumbtack.com/ca/solana-beach/wedding-photographers/photography-cary-pennington-photography " "Mozilla/5.0 (compatible; Googlebot/2.1; + http://www.google.com/bot.html )"

 66.249.72.207 - - [04/Oct/2011:09:53:08 +0000] "POST /act/site/clienterror HTTP/1.1" 200 36 " http://www.thumbtack.com/tx/san-antonio/painting/residential-commercial-construction-services " "Mozilla/5.0 (compatible; Googlebot/2.1; + http://www.google.com/bot.html )"

Запросы от Google также содержат такую информацию; судя по всему, робот смог проанализировать сценарий.

Такое поведение сканера не причиняет никакого вреда сайту, поэтому его можно считать нормальным.

Однако умное поведение бота удивляет. Теги: #googlebot #индексирование #POST #Поисковые технологии

• Проблема Ремонта Принтера

  19 Oct, 24

• Поднимитесь На Страницу Результатов Поиска: Пять Основных Стратегий Seo

  19 Oct, 24

• Бюджетная Авиакомпания Easyjet Прекратит Полеты Из Лондона В Москву И Покинет Россию

  19 Oct, 24

• Инновационная Лаборатория Wargaming Объявила О Запуске Компьютерного Экшена Hybrid Wars

  19 Oct, 24

• Подключенные Автомобили: Обобщенный Метод Взлома И Модель Угроз

  19 Oct, 24

• История О Том, Как Я Впервые В Жизни Сделал Печатную Плату

  19 Oct, 24

• Подсказка Типов Php: Строгая Или Мягкая?

  19 Oct, 24

• Devcon 2013: Второй День Конференции, Смотрите Прямую Трансляцию Основной Программы!

  19 Oct, 24

• Возле Дата-Центра Amazon Упал Столб: Пятый Простой За Неделю

  19 Oct, 24

• Разделение И Боль Mysql

  19 Oct, 24