Как Остановить Рамблер?

Самая устаревшая поисковая система рунета, похоже, нас всерьез полюбила.

Рамблер запрашивает документы с Хабрахабра со скоростью до 170 запросов в секунду, что нас несколько не устраивает и, по нашим наблюдениям, является абсолютным рекордом среди всех индексаторов, посещающих наш проект. Мы получили несколько бессвязных, параноидальных ответов от службы технической поддержки поисковых систем с советами прочитать страницу с описанием файла robots.txt или «задержать ответ робота».

Судя по всему, Рамблер не поддерживает директиву Crawl-delay и найти решение проблемы без блокировки доступа к Рамблеру будет не так просто, как хотелось бы (nginx в шаге от решения этой проблемы для необходимого значения user-agent) .

Интересно, есть ли среди читателей те, кто может похвастаться еще большей степенью внимания со стороны Рамблера? Теги: #rambler #Хабр

• Программное Обеспечение Для Резервного Копирования Пк Является Необходимой Защитой Для Бизнеса

  19 Oct, 24

• Московская Курьерская Служба Bringo Запустила Услугу «Прости-Пока» Для Разрыва Отношений

  19 Oct, 24

• Подробности Об Обновлении Segregated Witness И Последствиях Его Принятия В Биткойне

  19 Oct, 24

• В Чем Разница Между Исключительным Правом И Неисключительной Лицензией?

  19 Oct, 24

• Schoolout Готовится Запустить Api Для Разработчиков Приложений

  19 Oct, 24

• Подготовка К Выпуску Asp.net 5 №6: Непрерывное Развертывание С Помощью Visual Studio Team Services — Полное Руководство

  19 Oct, 24

• Никаких Ошибок, Никаких Недостатков Или Надежности Систем Как Таковых.

  19 Oct, 24

• Uwp – Выпуск 239

  19 Oct, 24

• Spotify: Формирование Пользовательского Интерфейса

  19 Oct, 24

• Концепция Суперпароля — Как Дополнительная Защита Учетных Записей Электронной Почты В Интернете

  19 Oct, 24