Cloudflare объявила, что недавно перешла с использования сервиса reCAPTCHA от Google на сервис hCaptcha от Intuition Machines. Cloudflare очень рада возможности осуществить этот переход, поскольку он помогает решить проблемы со сбором конфиденциальной информации, которые существовали в то время, когда компания полагалась на сервисы Google. Это, кроме того, способствует более гибкой настройке задач CAPTCHA, предлагаемых посетителям сайта.
Это изменение, в принципе, затрагивает всех пользователей Cloudflare. Поэтому компания решила поделиться подробностями о переходе на reCaptcha и подготовила материал, перевод которого мы сегодня публикуем.
Использование технологии CAPTCHA в Cloudflare
Одна из услуг, предоставляемых Cloudflare, заключается в том, что клиентам компании предоставляется возможность блокировать вредоносный автоматический трафик (трафик ботов).
Мы используем множество механизмов, направленных на решение этой проблемы.
Если мы абсолютно уверены, что какой-то трафик является вредоносным, мы блокируем его полностью.
Если мы точно знаем, что какой-то трафик является результатом нормальной человеческой деятельности, мы его пропускаем.
То же самое относится и к обычному трафику, генерируемому ботами, например ботами поисковых систем.
Но иногда, в случаях, когда мы не совсем уверены в характере трафика, мы проверяем этот трафик.
У нас есть разные тесты.
Некоторые из них полностью автоматические, но один такой тест требует вмешательства человека.
Такие тесты известны как CAPTCHA (по-русски они называются «капча»).
Эта аббревиатура расшифровывается как «Полностью автоматизированный публичный тест Тьюринга для различия компьютеров и людей» — полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей.
Как видите, в слове CAPTCHA пропущено несколько букв — иначе оно выглядело бы как CAPTTTCHA. Тесты по капче обычно заключаются в том, что пользователю предлагается прочитать искаженный текст и ввести его в поле или выбрать из набора картинок изображения светофора или пешеходного перехода.
Суть задач по капче в том, что их легко решить человеку, а не компьютеру.
Cloudflare использует сервис reCAPTCHA от Google с самого начала существования компании.
Этот сервис появился в 2007 году как исследовательский проект Университета Карнеги-Меллон.
Google купила этот проект в 2009 году.
Примерно в то же время появился Cloudflare. Google предоставил бесплатный доступ к reCaptcha в обмен на использование данных сервиса для обучения систем визуальной идентификации компании.
Когда мы искали решение CAPTCHA для Cloudflare, мы выбрали reCATPCHA, потому что этот сервис был эффективным, масштабируемым и бесплатным.
Последний пункт в этом списке был важен для нас, потому что очень много клиентов Cloudflare пользуются нашими бесплатными услугами.
О конфиденциальности и блокировке
С момента появления reCAPTCHA в Cloudflare некоторые из наших клиентов выражали обеспокоенность тем, что мы используем сервис Google. Бизнес Google основан на таргетированной рекламе.Cloudflare этого не делает. Мы придерживаемся строгой политики конфиденциальности.
Нас устраивает политика конфиденциальности, связанная с reCAPTCHA, но мы понимаем, почему некоторые из наших клиентов обеспокоены тем, что им приходится передавать в Google больше данных, чем им хотелось бы.
У нас также возникают проблемы в некоторых регионах, например в Китае, где сервисы Google время от времени блокируются.
Но только на Китай приходится 25% пользователей Интернета.
В результате мы всегда были обеспокоены тем, что некоторые из этих пользователей не могут взаимодействовать с сайтами, защищенными Cloudflare, когда их просят решить задачу по проверке подлинности.
Накопившихся за годы вопросов относительно конфиденциальности и блокировки уже было достаточно, чтобы заставить нас задуматься о смене reCAPTCHA на что-то другое.
Но нам, как и большинству ИТ-компаний, сложно сосредоточить усилия на отказе от какой-то широко используемой технологии и замене ее чем-то новым.
Меняющаяся бизнес-модель Google
Ранее в этом году Google сообщил нам, что собирается начать взимать плату за использование сервиса reCaptcha. Это их полное право.Обслуживание капчи Cloudflare, учитывая наши размеры, несомненно, стоит больших денег, что заметно даже в масштабах Google. И опять же, взимание платы за reCAPTCHA — совершенно разумный шаг со стороны Google. Если выгода компании от обучения систем классификации изображений меньше, чем затраты на поддержание сервиса, то понятно, что Google захочет взимать плату за работу с этим сервисом.
В нашем случае это будет означать трату миллионов долларов ежегодно только для того, чтобы наши бесплатные пользователи могли продолжать использовать reCAPTCHA. Этого, наряду с другими причинами, в конечном итоге оказалось достаточно, чтобы мы начали искать альтернативу reCAPTCHA.
Лучшая капча
Мы проанализировали многих поставщиков решений CAPTCHA и задумались о разработке собственного сервиса такого рода.В результате оказалось, что наиболее удачной альтернативой reCAPTCHA является hCaptcha .
Нам очень понравилось в этом сервисе:
- Они не занимаются продажей личной информации.
Они собирают только необходимый минимум таких данных.
Компания четко описывает информацию, которую она собирает, а также то, как она использует и раскрывает данные.
Компания придерживается этих правил, предоставляя сервис hCaptcha для Cloudflare.
- Система hCaptcha имеет хороший уровень производительности (как с точки зрения скорости, так и с точки зрения показателей, связанных с решением проблем с капчей).
Этот уровень соответствует или превосходит наши ожидания при проведении A/B-тестирования.
- Сервис hCaptcha предлагает надежное решение для слабовидящих пользователей и для пользователей, испытывающих проблемы, не связанные со зрением, при работе с веб-страницами.
- Система поддерживает Конфиденциальность , что позволяет снизить частоту показа задач по капче.
- Система работает в регионах, где сервисы Google могут быть заблокированы.
- Команда hCaptcha гибкая, быстро реагирует на запросы, и с ней приятно работать.
А тем, кто будет использовать hCaptcha на сайте, планировалось выплатить вознаграждение.
Нам это показалось привлекательным, но, к сожалению, хотя этот подход может хорошо работать для большинства обычных клиентов hCaptcha, он не подходил для нашего масштаба.
Мы сотрудничаем с сервисом hCaptcha по двум направлениям.
Во-первых, мы находимся в процессе выделения ресурсов нашей платформе Workers, которая возьмет на себя большую часть нагрузки, когда наши клиенты будут использовать hCaptcha. Это снизит затраты на Intuition Machines. Во-вторых, мы предложили компании платить ей, а не нам.
Это предоставит компании ресурсы, необходимые для масштабирования ее услуг так, чтобы они отвечали нашим потребностям.
Хотя для нас это действительно означает дополнительные расходы, эти затраты составляют лишь часть того, что в противном случае потребовалось бы для оплаты reCAPTCHA. Взамен мы получаем платформу CAPTCHA, гораздо более гибкую, чем та, которую мы использовали раньше.
Кроме того, у нас есть возможность взаимодействовать с командой разработчиков, которая очень быстро реагирует на наши запросы.
Когда наши клиенты показывают капчу своим пользователям?
Когда мы только начали работать над этим проектом, мы предполагали, что основными потребителями CAPTCHA будут наши решения Cloudflare Bot Management и Cloudflare Firewall Rules. Это предположение в некоторой степени подтвердилось.Хотя основными потребителями CAPTCHA оказались решения Firewall/Bot, их доля в общем потреблении этого сервиса составила лишь немногим более 50%.
Вот краткий обзор наших решений, которые требуют от пользователей запроса кода проверки.
| Решение Cloudflare | Использование капчи |
| Правила брандмауэра и управление ботами | 54.8% |
| IP-брандмауэр | 18.6% |
| Уровень безопасности | 16.8% |
| DDoS | 6.3% |
| Ограничение скорости | 1.7% |
| Правила WAF | 1.5% |
| Другой | 0.3% |
На их долю приходится большая часть капч.
Эти решения используют правила, написанные нашими пользователями.
При выполнении условий, предусмотренных этими правилами, капча отображается.
В качестве примера приведем ситуацию, при которой отображается капча, когда система оценивает запрос.
Управление ботами Cloudflare оказывается неоднозначным.
С одной стороны, оно ниже указанного порогового значения, что может указывать на то, что речь идет об автоматизированном трафике.
Но, с другой стороны, оно выше порогового значения, что указывает на неопределенность ситуации.
Другой распространенный сценарий использования капчи, связанный с разделом Брандмауэр/Бот, — отображение задач капчи для всех запросов к определенному сайту или к определенной конечной точке сайта.
Наши клиенты могут делать это, чтобы ограничить количество подключений к своим серверам или замедлить работу автоматизированных систем, которые подбирают учетные данные страницы входа или создают поддельные учетные записи.
Это приводит к тому, что некоторые сайты, защищенные Cloudflare, запрашивают сотни миллионов капч в день.
Второе в этом списке — наше решение IP-брандмауэр .
В целом оно похоже на решения Firewall/Bot, но позволяет более точно анализировать трафик, работая на уровне IP-адреса, ASN или страны.
Основной объем капч, отображаемых в сервисе IP Firewall, относится к уровню ASN и странам.
Вероятно, наши клиенты защищаются от трафика, связанного с определенным ASN (например, может ли трафик от облачного провайдера генерироваться обычными пользователями?), или защищаются от атак, осуществляемых из каких-то стран.
Дальше идет сервис Уровни безопасности .
Эта услуга используется двумя разными способами:
- Он может выступать в качестве инструмента для приблизительной оценки репутации IP-адреса.
- Она может работать в режиме «Я под атакой».
сайта и для фильтрации трафика.
Последнее крупное использование капчи связано с одной из наших автоматизированных систем.
Например, недавно наши инженеры из отдела защиты от DoS-атак учили Гейтбот используйте капчу для устранения небольших проблем в некоторых конкретных ситуациях.
Теперь Gatebot может писать временные правила, применение которых приводит к тому, что злоумышленникам показывается капча.
Наконец, некоторые из наших клиентов настраивают отображение капчи, создавая наборы правил ограничения скорости и управляемого WAF. Также нас интересовал вопрос о типах наших клиентов, которые используют капчу.
Наши клиенты, пользующиеся нашими услугами бесплатно, за неделю запросили около 40-60% всех капч, отображаемых Cloudflare. Этот показатель получен с учетом влияния атак на сайты на отображение капч.
Среди двух групп наших платящих клиентов — корпоративных и тех, кто платит за услуги по факту, оставшийся объём использования капчи делится примерно поровну.
В целом мы обнаружили, что Cloudflare запускает несколько миллионов капч каждую секунду во время атаки на одного или нескольких наших клиентов.
О проблемах перехода на новые технологии
Когда мы меняем какую-то часть системы Cloudflare, некоторым нашим клиентам это облегчает жизнь, но у других возникают проблемы.Мы и команда разработчиков hCaptcha готовы решить любые возникающие трудности.
Если вы или ваши пользователи столкнулись с трудностями при использовании hCaptcha, просим вас написать об этом на Форум или открыть билет в службу поддержки , дав максимально подробное описание произошедшего.
Если возможно, включите в свое сообщение Ray ID — идентификатор, который обычно отображается внизу страницы CAPTCHA. Это поможет нам понять, что пошло не так.
Рэй ID
Полученные результаты
Опыт подсказывает нам, что визуальная (и аудио) капча — далеко не идеальное решение многих сложных задач.Cloudflare продолжает работать над тем, чтобы минимизировать количество капч, показываемых пользователям, и, как следствие, полностью отказаться от этой технологии.
Планируем написать об этом подробнее.
И, кстати, знаете, как называется наш внутренний чат, в котором общается команда, занимающаяся реализацией hCaptcha? Вы можете подумать, что этот чат называется «Новая капча».
Но на самом деле это не так.
Это называется (Нет)КАПЧА.
Уважаемые читатели! Вы уже сталкивались с hCaptcha? 
Теги: #информационная безопасность #разработка сайтов #разработка #CAPTCHA
-
О Новаторах И Подражателях
19 Oct, 24 -
Много Менеджеров
19 Oct, 24
