Когда вы делаете сайт с большим количеством уникальной информации и начинаете зарабатывать на трафике с поисковых систем, то может быть очень обидно, когда кто-то скачает весь сайт и заберет половину ваших посетителей.
Поэтому в рамках борьбы с вышеуказанной проблемой я разработал простую, но эффективную защиту.
Смысл защиты в том, что администратору отправляется сводка запросов с подозрительных IP, а он смотрит человеческим глазом и определяет, робот это или человек, после чего блокирует или, наоборот, разрешает запросы с этого ИП.
Подозрительность IP-адреса определяется количеством запросов за определенный период времени.
Сводка берется командой grep из журнала веб-сервера; в письме администратору сразу же предоставляется информация WHOIS и ссылки на блокировку/разрешение адреса.
Через некоторое время у администратора развивается тренированный глаз, который сразу отличает робота от человека; обработка такого письма занимает несколько секунд. Есть несколько очевидных отличий робота от человека, которые сразу заметны в логе: 1. Человек скачивает со страницы все картинки, скрипты и сценарии, роботы зачастую только HTML. 2. Человек тратит разное количество времени на чтение разных страниц; робот чаще всего быстро запрашивает страницы одну за другой.
3. Переход человека по страницам сайта логичен, робот либо перебирает все ссылки на странице подряд, либо запрашивает те, которые вообще не имеют ссылок на текущей странице.
Итак, мы выявили вора и заблокировали ему доступ, допустим, задерживаемся на несколько секунд и выдаем вместо страницы мешок для мусора.
Но вор не дурак и сразу поймет, что происходит и встроит в свою качалку простую проверку и, если блокировка включена, просто сменит свой IP. Но в правде есть сила, а правда есть у нас, поэтому мы воспользуемся очень коварным приемом, о котором я опишу в следующий раз, и вор получит горькую досаду, обиду и разочарование.
Теги: #авторское право #безопасность #Чулан
-
Слово
19 Oct, 24 -
Nokia Поделится Музыкой С Операторами
19 Oct, 24 -
Выбор Файловой Системы Независимо От Ос
19 Oct, 24 -
Идея: Учить Иностранные Слова По Книгам
19 Oct, 24 -
Box2D И Libgdx
19 Oct, 24
