Меня зовут Мэтью Принс, я один из сооснователей и генерального директора CloudFlare. Не ждите, что я буду таким же интересным, как директор АНБ, но я, по крайней мере, постараюсь быть менее противоречивым.
На самом деле я профессор частного права, поэтому я прочитал Конституцию и могу долго дискутировать на эту тему.
Когда-нибудь мы обсудим это очень подробно, надеюсь, я смогу рассказать вам историю исков, которые мы сейчас возбуждаем против правительства Соединенных Штатов, чтобы оспорить некоторые происходящие вещи, потому что это полная чушь.
Расскажу менее интересную, но драматичную историю, произошедшую с 18 по 25 марта, когда один из наших клиентов подвергся жесточайшей DDoS-атаке.
Я не буду много говорить о CloudFlare, если вы хотите узнать о нашем сервисе, просто посетите сайт. Но когда на нашего клиента было совершено нападение, журналисты любят писать об этом событии, и газета New York Times освещала это нападение 4 дня подряд. Это была действительно мощная атака, поэтому я хочу о ней поговорить.
Ну, есть некоммерческая организация Spamhaus, которая отслеживает спамеров и их деятельность.
Я знаю этих ребят давно, еще с 2006-2007 годов, когда на них подал в суд предполагаемый спамер в Иллинойсе.
Потом мне позвонил основатель этой организации Стив Линфорд и спросил, могу ли я выступить в качестве их бесплатного адвоката.
Я ответил, что раньше был юристом и занимался частной практикой, то есть преподавал студентам в классе, но в суде никогда не спорил.
Я очень быстро нашел им настоящего адвоката, который вскоре помог им «разрулить» ситуацию, поэтому знаю, что Spamhaus – очень порядочная организация, действуют достаточно открыто.
Нашими клиентами являются многие организации, но они не любят открыто говорить о своих проблемах, но ребята из Spamhaus не такие закрытые, и когда на них напали, они позвонили нам и сказали: «Эй, мы можем рассказать вам нашу историю».
»! Итак, это история нападения на Spamhaus и того, что произошло за кулисами, когда их «снесли».
Эту историю я разбил на 3 части.
Во-первых, это характер нападения, что это такое и кто за ним стоит. Если вы хотите узнать об этом больше, приходите на DefCon, где я буду выступать на следующей неделе.
Вторая часть — что нужно сделать, чтобы остановить атаку, как создать сеть, которая действительно на это способна.
Это не история о выдающемся интеллекте или невероятном программном обеспечении, а о разработке интеллектуальной сети.
Последняя часть — это то, что вы можете сделать в своих сетях, чтобы остановить атаки такого типа.
Обещаю, что результатом выступления не будет агитация использовать сервис CloudFlare как наиболее безопасный, а вместо этого я расскажу вам о продвинутых вещах, сделав которые, вы станете менее уязвимы для подобных DDoS-атак.
Итак, в понедельник, 18 марта, нам позвонил один из волонтеров Спамхауса и рассказал о нападении.
Вот как на тот момент выглядел их сайт — злоумышленники перевели его в «оффлайн» состояние, по сути отключив от Интернета.
Позже СМИ написали, что нападение осуществил некий Фенн, живущий в бункере где-то в Нидерландах.
Этот парень не был настоящим инициатором этой акции, вероятно, он был просто человеком, который был готов дать интервью New York Times. Скорее всего, настоящим организатором нападения является тот 15-летний подросток из Лондона, который сейчас находится под арестом, но пресса не поднимает шума по этому поводу.
В статье от 23 марта 2013 года газета New York Times написала, что атака была осуществлена датской компанией Cyberbunker в ответ на то, что организация Spamhaus внесла ее в черный список за распространение спама.
Штаб-квартира Кибербункера действительно располагалась в заброшенном бункере НАТО (прим.
переводчика).
Скорее всего, причиной акции стало то, что Spamhaus объявил кого-то спамером.
Эта организация делает много хороших дел, но иногда они кому-то мешают, и в этом случае обиженная сторона принимает ответные меры, в данном случае начиная атаку.
Spamhaus достаточно технически подкован, чтобы отразить множество различных типов атак, но в данном случае массовая групповая атака поразила их инфраструктуру DNS и просто отключила сайт. Это может случиться с любой организацией, и они хотели это остановить.
Они знали, что мы оказываем помощь в предотвращении подобных атак, поэтому связались с нами.
Итак, с 18 по 21 марта произошло то, что мы называем «издевательскими атаками».
Такие атаки нам как хлеб; каждую неделю у нас происходит несколько подобных атак.
Чтобы дать вам представление об их масштабах, скажу, что на прошлой неделе мы зафиксировали 162 атаки на наших клиентов, и нам вполне удалось их остановить.
Эти DoS-атаки происходят с интенсивностью от 10 до 80 гигабит в секунду.
Для некоторых организаций, например финансовых, атаки такого уровня интенсивности могут быть опасными.
Так, в прошлом году некоторые финансовые организации пострадали от DoS-атак интенсивностью 60-80 Гбит/с, но опять же, это достаточно распространенные атаки, которые нам знакомы, и в них нет ничего, что заслуживало бы упоминания на конференции BlackHat. Еще следует отметить, что DoS-атаки не все одинаковы, большое значение имеет объем атаки, то есть количество пакетов, атакующих сайт. То, о чем мы поговорим сегодня, относится к атакам уровня 3, то есть атакам на сетевой уровень модели OSI. Это чисто объемная атака.
Но это не самое страшное, гораздо хуже — атака 7-го прикладного уровня, которая не столь объемна, но создает гораздо больше проблем для конкретных приложений.
Но сегодня я не буду обсуждать атаки, требующие специального программного обеспечения.
То же самое относится и к DoS-атакам уровня 4, где злоумышленник использует Syn-пакеты небольшого размера, нанося значительный ущерб жертве, поскольку ее операционная система не способна справиться с этими запросами.
В нашем случае атака основана исключительно на большом объеме, который пытается вас уничтожить на уровне 3, выбить из сети и перенасытить порт трафиком.
В среду, 20 марта, был атакован один из портов нашей сети, а точнее набор портов, на одном из которых размещался сайт Spamhaus. 
На этом слайде показан кэш прокси, синяя линия — исходящий трафик из нашей сети, а зеленая область — входящий трафик.
Высокий пик в конце графика — это атака, которая была полностью спамхаусом и разрушила нашу сеть.
Наша сеть легко выдерживает атаки интенсивностью 75 Гбит/с, ведь она рассчитана на «переваривание» такого объёма трафика.
Однако во время атаки 20 марта потолок интенсивности DoS был достигнут на уровне 100 Гбит/с.
Это казалось исключительным случаем, потому что если вы покупаете или собираете базовый маршрутизатор, вы имеете дело с кем-то вроде Cisco или Juniper, а самая крутая и большая «коробка», которую вы можете купить у них, имеет порт 100Gig. Теоретически можно использовать несколько 100-гигабитных портов и пропустить их через один интерфейс, но потолок DoS-атак обычно не превышает заданного объема.
Вскоре после этого мне позвонил Том, один из наших сетевых инженеров, и сообщил, что интенсивность атаки возросла.
Она может быть за пределами нормы, поэтому я спросила, насколько она выросла, думая, что речь идет о небольшом излишестве.
На следующем слайде показана интенсивность новых атак, произошедших 24-25 марта.
На графике указано UTC, я живу в Сан-Франциско и это было еще 23-е число, так что вы можете себе представить, каким был мой ужин 23 марта.
Мне позвонили и сказали, что атака превысила потолок в 100 Гигабит, но мы не думали, что сможем увидеть нечто подобное совсем скоро! Внезапно мы получили 4 звонка от провайдера одной из наших входящих сетей и сетевых инженеров, сообщивших, что сейчас мы наблюдаем трафик со скоростью более 300 Гбит/с, что достигает предела пропускной способности нашей сети.
На графике видно, что в течение 24-25 марта скорость атак упала до 90 Гбит/с и выросла до 300 Гбит/с, что привело к отказу в обслуживании входящего трафика одного из наших провайдеров, у которого была полностью исчерпана полоса пропускания сети.
Вопрос - как? Как хакеру удалось это сделать, если известно, что аппаратный потолок составляет 100 гигабит? Как этому парню из Лондона, этому 15-летнему мальчику удалось организовать столь беспрецедентно сильную атаку? Многие, в том числе и в СМИ, высказали неверное мнение, что для такой атаки необходим ботнет. Но в данном конкретном случае реального трафика из сети ботнета не было.
Другие люди говорили, что Anonymous сделали это потому, что в сообществе много людей, которые скоординированы и могут работать вместе для проведения определенных типов атак.
Нет это не правда.
Атаку осуществили 3, а может и 4 человека, один из которых был настоящим техническим вдохновителем, но весьма ограниченным в ресурсах и исполнителях.
Многие считали, что для проведения такой атаки потребуются исключительные технические навыки.
Скажу, что я видел код, который инициировал эту атаку, это около 50 строк на C, не считая заголовков, которые обычно включаются в такой эксплойт, так что информации довольно мало.
Всего через секунду я покажу вам, как можно провести подобную атаку.
Что вам действительно для этого понадобится, так это список открытых DNS-клиентов или DNS-преобразователей, что это такое, я расскажу вам позже.
Второе, что вам понадобится – это несколько серверов или просто маломощных компьютеров, работающих в сетях, допускающих подмену исходного IP. 
Это основные компоненты для проведения атаки, и если у вас есть эти две вещи, даже в очень небольших количествах, как оказывается, то вы можете провести очень и очень большую атаку.
Пока ничего, что ослабляет такие атаки, не изменилось, и это немного пугает. Давайте поговорим об открытых преобразователях DNS. DNS похож на маленькие пустые страницы в Интернете.
Это система кэширования, которая создает возможность отвечать на запросы, отправленные на сервер.
Неправильно настроенный преобразователь DNS, также называемый открытым преобразователем DNS, отвечает на вопросы независимо от того, кто его задает. Этот распутный преобразователь DNS отвечает всем, кто спрашивает. Он работает без каких-либо ограничений.
Он не имеет ограничений ни на количество запросов, ни на то, от кого принимать запросы.
Вы можете спросить: «А как насчет Google? В конце концов, он использует открытый преобразователь DNS! Однако такие организации, как Google, делают многое для того, чтобы ограничить количество запросов к резолверам, чтобы затруднить запуск атак, они ограничивают размер ответов, которые они предоставляют на запросы.
Буквально на прошлой неделе ребята из Bind анонсировали новое расширение, позволяющее устанавливать ограничение скорости по запросу, это именно то, чего нам давно не хватало.
Потому что самое страшное то, что атаки все чаще используют авторитетные открытые DNS-серверы.
При проведении любой атаки хакер стремится усилить ее любым доступным способом, например, с помощью ботнета.
Если у меня очень мало собственных ресурсов, я склонен использовать их для создания дополнительных ресурсов.
На конференции BlackHat было сказано, что DDoS — это совершенно асимметричная атака, потому что один маленький человек может создать огромные проблемы, и открытые DNS-резольверы это наглядно демонстрируют.
На этом слайде показана ключевая команда для запуска атаки через терминал или консоль Windows. 
Эта команда была запущена в 2 часа ночи с открытого преобразователя DNS 63.217.84.76, работающего в сети PCCW. Если вы отправите этот запрос, сервер вам ответит.
digANY — это просто DNS-запрос, который инициирует поиск любых доменных имен NS, isc. org означает, что они хотели показать вам все возможные типы DNS-записей, поэтому их DNS-файл огромен, за ним следует IP-адрес преобразователя и флаг edns=0, который говорит: «Верните мне все, включая dns.sec и кучу другие типы флагов», которые вы можете не получить по умолчанию.
Флаг notcp является важным элементом, так как он сообщает резолверу не использовать TCP для обмена данными, а отправлять их по UDP, а bufsize устанавливает размер буфера равным 4096, то есть попытаться сделать буфер таким большим, как возможно для того, чтобы отправлять очень «толстые» пакеты.
Итак, вы запускаете этот симпатичный маленький 64-байтовый запрос и получаете обратно то, что сейчас отображается на экране.
То есть на 64-байтовый запрос вы получаете ответ размером 3363 байта.
Итак, если вам удастся найти открытый преобразователь DNS, вы отправите ему 64 байта, и он получит ответ размером более 3300 байт. Именно это я имею в виду, когда говорю, что можно использовать крошечные ресурсы, чтобы создать большую проблему.
В этом случае мы получаем коэффициент усиления атаки порядка х50. Однако по умолчанию усиление не работает, и если я отправлю небольшой запрос, чтобы получить большой ответ, я просто направлю DDoS-атаку на себя.
Поэтому вторым необходимым компонентом такой атаки является сеть, позволяющая подделать исходный IP-адрес.
То есть я пытаюсь сделать вид, что DNS-запрос был отправлен с IP-адреса, с которого он не отправлялся.
Я отправляю DNS-преобразователю сообщение, а поскольку UDP — это протокол «записать и забыть» без рукопожатия, как только он получает запрос, он просто отправляет ответ тому, кто, по его мнению, является отправителем.
Хорошо спроектированные сети не позволяют этого; они не позволяют пакетам приходить с IP-адресов, не принадлежащих к этой сети — это рекомендации BCP38. Большинство интернет-провайдеров следуют этим рекомендациям при создании сетей, но есть сети, которые игнорируют это правило.
Итак, если у нас есть два необходимых ингредиента, то, поскольку UDP не использует рукопожатия, IP-адрес источника запроса легко подделать.
В атаке Spamhaus использовался конкретный DNS, показанный на слайде, и предполагалось, что связь осуществляется через UDP, который не требует никакого рукопожатия.
Ответы от всех этих открытых преобразователей DNS, расположенных по всему миру, затем отправляются обратно в вашу или любую другую целевую сеть.
Вторичным воздействием этих DDoS-атак является поддержка клиентов, поскольку в этой атаке участвуют сотни тысяч открытых DNS-серверов.
Их пользователи отслеживают путь до адреса атаки 190.93.243.93, откуда исходят тонны пакетов, атакующих их инфраструктуру, и начинают забрасывать вас гневными сообщениями типа «вы не знаете, что делаете, вы не знаете как управлять нормальной сетью, твои компьютеры взломаны, как ты смеешь нападать на меня!» и т. д. И вы должны им очень вежливо объяснить, что на самом деле это они на вас нападают, и сами от этого страдают, потому что не правильно настроили свой DNS-резольвер, ответы на запросы возвращаются обратно, и все это в конечном итоге влияет на вас самих.
Собственно, это возможность научить людей «чистить» свои сети, и в этом положительная сторона подобных атак, поскольку люди не представляют себе, что из-за неправильной настройки открытых DNS-серверов это происходит постоянно, только в небольших масштабах.
И только когда интенсивность приступов значительно возрастает, на них начинают обращать внимание.
Я думаю, вы все знакомы со старыми типами атак, такими как Smurf, когда вы используете маршрутизаторы для трансляции ICMP-запросов в сеть и используете подмену источника, заставляя компьютеры реагировать на жертву вашей подмены, закупоривая каналы связи.
Положительным моментом является то, что индустрия маршрутизации стала очень эффективной в борьбе с этой атакой.
Они все еще встречаются, но начать атаку смурфов довольно сложно.
Однако в целом DNS-рефлюкс-атаки организовать очень легко.
Насколько распространены компоненты таких атак? На следующем слайде показан проект Open Resolver Project, который является весьма революционным продуктом.
Многие из присутствующих здесь уже давно спорят, стоит ли публиковать в Интернете список всех открытых DNS-резольверов, работающих в Интернете.
Дело в том, что этот список могут использовать как «хорошие парни», чтобы указать клиентам на неправильно настроенные сети, так и «плохие парни», которые могут использовать его для запуска DoS-атак.
Неслучайно этот проект стартовал в понедельник, следующий за выходными, во время которых мы пережили весь этот ад. Таким образом, крупнейшие интернет-провайдеры первого эшелона смогли убедиться в том, что этот список уже давно находится у «плохих парней» и поэтому им необходимо начать его зачищать, избавляясь от открытых серверов.
Благодаря этому сайту вы можете ввести диапазон своих IP-адресов и проверить, есть ли в вашей сети открытые преобразователи DNS. Таким образом, если PCCW проведут такое тестирование, они смогут очистить сеть до того, как у них возникнут проблемы.
Мы заставили средства массовой информации подчеркнуть роль этого проекта, чтобы все интернет-провайдеры знали об этом списке, поскольку в Интернете используется 28 миллионов открытых преобразователей DNS. Я был бы рад сообщить вам, что сегодня эта цифра составляет 30, 40 или 50 миллионов, но, к сожалению, на момент запуска она была всего 21 миллион, поэтому мы явно движемся не в том направлении.
Следующее, что хочу отметить, это совершенно аномальный процент сетей, допускающих спуфинг.
На слайде показан проект MIT по отслеживанию сетевого спуфинга.
Тестировать их удаленно было сложно, но тесты показывают, что почти 25% Интернета допускают подмену.
В 2013 году нет оправданий тому, чтобы не использовать BCP 38 для пограничных маршрутизаторов.
Вы не должны допускать, чтобы пакеты, исходящие за пределами вашей сети и исходящие с неизвестных вам IP-адресов, увеличивали нагрузку на маршрутизаторы.
Любой роутер, выпущенный после 2002 года, позволяет очень легко включить эту функцию, поэтому не использовать ее – просто лень! Хорошей новостью является то, что крупные сети ботнетов, как правило, не поддерживают этот тип подмены.
Глобальные сети во многом закрыты для спуфинга, поэтому возможен катастрофический сценарий, если хакерам удастся подделать, например, китайскую сеть China Telecom. В этом случае ботнет может использоваться для генерации трафика на DNS-серверы для проведения потенциальной атаки огромного размера.
Наверное, присутствующим легко понять, насколько сложно избавиться от всех открытых резолверов.
Но вы можете реализовать возможность игнорировать чужие пакеты в своих сетях, чтобы не подвергаться такой атаке.
Давайте рассмотрим два конкретных инцидента, произошедших во время атаки Spamhaus. Первый произошел 24 марта и представлял собой атаку интенсивностью около 309 Гбит/с в течение 28 минут. Паника началась со звонка Тома, который сообщил, что у нас атака более 300 Гбит/с.
Я спросил, работает ли наша сеть, и Том ответил, что мы пока держимся и сможем снабжать Spamhouse и других клиентов.
И хотя есть небольшие потери пакетов и задержки при передаче трафика, в целом сеть держится.
Тогда я сказал: чего ты так боишься? Ответили — потому что злоумышленники используют всего 0,1% открытых резолверов, существующих в мировом Интернете! Но если они смогут использовать хотя бы 1%, у нас будет не 300-гигабитная атака, а 3-терабайтная атака.
Если они будут использовать 10% открытых преобразователей DNS, мы получим атаку на 30 терабайт. Я думаю, что сегодня мы могли бы выдержать до 3 терабит трафика, но в марте у нас не было такой возможности, мы не смогли отразить атаку в 30 терабит и я не знаю никого, кто бы смог ее выдержать.
Это было очень серьезной проблемой для функциональности сети.
Когда мы начали выяснять, откуда исходит атака, и просмотрели кучу сетевых провайдеров первого уровня, мы обнаружили только 3 сети, допускающие подмену адресов, и, возможно, 5-7 скомпрометированных серверов их обслуживали.
Один был в Сан-Хосе, другой — в Миннесоте, а третий — в Германии.
Было задействовано всего 3 сети, и эти скромные ресурсы привели к относительно крупной атаке.
Следующий пик произошел 25 марта, когда трафик был зафиксирован на скорости 287 Гбит/с в течение 72 минут. Было использовано почти такое же количество открытых резолверов — 31154, и те же три спуфинговые сети.
И снова злоумышленник использовал очень ограниченные ресурсы.
Отмечу, что у нас был всего 1 злоумышленник с одним ноутбуком, у нас есть скриншот, который я покажу позже.
Он контролировал от 5 до 7 скомпрометированных серверов, 3 сети, допускавшие подмену исходных IP-адресов, которые генерировали трафик с интенсивностью около 9 Гбит/с, направленный на 0,1% открытых DNS-резольверов.
И все это привело к появлению DDoS-трафика 300 Гбит/с.
Многие считают, что это была самая крупная атака в истории сетей, не могу сказать, правда ли это, но это действительно была самая крупная атака, которую мы когда-либо видели.
Это история великого организатора, которому удалось сделать то, о чем раньше даже и не мечтали.
Мы все знали о проблеме открытых резолверов, это не был какой-то новый хитрый взлом, повреждение сетевых протоколов, атака фрагментации пакетов и так далее, это выглядело так, будто пещерный человек просто вбивал вам в голову огромную дубину.
Позвольте мне еще раз повторить: то, что произошло, было невероятно эффективной атакой, и на Земле очень мало сетей, которые могут ей противостоять.
Опять же, мы очень гордимся тем фактом, что мы сделали тогда и продолжаем делать каждый день, и что мы продолжаем инвестировать в нашу сеть, чтобы сделать ее больше.
Я вам немного расскажу о том, что мы сделали, чтобы противостоять нападению, что мы сделали, чтобы его остановить.
Некоторые из наших мер общеприменимы, некоторые уникальны.
На этом слайде вы можете увидеть, что мы предоставляем услуги по всему миру, имея 23 точки подключения к сервису CloudFlare, а к концу года их число увеличится до 50. Итак, сегодня мы имеем развитую сеть Х-класса.
Изначально мы думали о целесообразности нашей сети, но то, что было заложено в нее вначале, сегодня превратилось в очень мощный инструмент. Мы используем протокол Anycast для транспортировки пакетов с использованием BGP через многих провайдеров DNS, которые также используют Anycast. Фактически мы используем его для HTTP-трафика, так как он наиболее стабилен.
Я скажу, что обеспечить нормальную работу такой сети, как наша, это большая головная боль.
Если вы не знакомы с протоколом Anycast, вот что это такое.
В типичной сети есть один источник и один пункт назначения, но в Anycast один источник подключен к нескольким пунктам назначения, и для доставки пакетов к месту назначения выбирается кратчайший путь.
Таким образом, если у нас 23 дата-центра по всему миру, то все они имеют один и тот же IP-адрес, например, адрес Spamhouse. Поэтому, когда мы имеем дело с атакой интенсивностью 300 Гбит/с, она распределяется по всем дата-центрам таким образом, что на каждый дата-центр приходится около 13 Гбит/с трафика.
Проблема в том, что злоумышленник также может посчитать и очень быстро перенаправить атаку прямо на границу нашей сети.
Это немного глупая затея, так как она может привести к тому, что атакующий получит эффект, противоположный эффекту баффа.
То есть вместо того, чтобы усиливать атаку за счет увеличения ее поверхности, он вынужден уменьшать эту поверхность и уменьшать интенсивность атаки.
29:00 мин.
Конференция ЧЕРНАЯ ШЛЯПА.
Уроки выживания при DDOS-атаке на скорости 300 Гбит/с.
Часть 2 Спасибо, что остаетесь с нами.
Вам нравятся наши статьи? Хотите увидеть больше интересных материалов? Поддержите нас, разместив заказ или порекомендовав друзьям, Скидка 30% для пользователей Хабра на уникальный аналог серверов начального уровня, который мы придумали для вас: Вся правда о VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps от 20$ или как правильно расшарить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40 ГБ DDR4).
VPS (KVM) E5-2650 v4 (6 ядер) 10 ГБ DDR4 240 ГБ SSD 1 Гбит/с бесплатно до весны при оплате на срок от шести месяцев и более вы можете заказать здесь .
Dell R730xd в 2 раза дешевле? Только здесь 2 x Intel Dodeca-Core Xeon E5-2650v4 128 ГБ DDR4 6x480 ГБ SSD 1 Гбит/с 100 ТВ от 249 долларов США в Нидерландах и США! Прочтите об этом Как построить корпоративную инфраструктуру класса, используя серверы Dell R730xd E5-2650 v4 стоимостью 9000 евро за копейки? Теги: #информационная безопасность #спуфинг #ddos #программирование #DOS #it-инфраструктура #конференции #cloudflare #Spamhaus #Spamhaus #DNS-резольверы #DNS-резольверы
-
Очередь Авторской Книги
19 Oct, 24 -
Lorem Ipsum: Пишем От Руки
19 Oct, 24 -
Как Можно Взломать Собственный Веб-Проект?
19 Oct, 24 -
Что Будет С Образованием?
19 Oct, 24 -
Захват Масады
19 Oct, 24 -
Реклама В Токийском Метро
19 Oct, 24
