Мы активно отслеживаем все статьи на тему DDoS, которые публикуются на Хабрахабре, и несмотря на то, что поиск по всем тредам на момент написания статьи показал 820 публикаций, мы решили, что было бы неплохо от имени оператора связи поделиться наше видение проблемы выявления и борьбы с DDoS-атаками.
В первой статье мы постараемся познакомить читателей с основными понятиями.
Статья предназначена скорее для новичков, имеющих базовые представления о сетевых технологиях, но никогда не сталкивавшихся с промышленными решениями для защиты от DDoS, и если данный материал вызовет интерес, то в следующей серии статей мы начнем подробно раскрывать технические детали.
.
Каковы особенности решения защиты от DDoS для операторов связи?
Особенность построения решений по анализу трафика и выявлению DDoS-атак для оператора связи неразрывно связана с архитектурой его сетей, а также с возможностями сетевого оборудования.Давайте рассмотрим это на примере: упрощенная архитектура магистральной IP/MPLS сети Ростелекома (AS12389) выглядит так.
Здесь вверх по течению - ведущий оператор связи, вглядеться - равноправного оператора связи или также крупного генератора контента, и клиент - клиент AS12389
Теперь мысленно перенесем проектирование сети на географию: 
И, наконец, давайте представим в цифрах количество отношений с вышестоящими/пирами/клиентами ( https://radar.qrator.net ) 
Таким образом, даже тем, кто никогда не имел дела с проектированием или эксплуатацией операторской сети, несложно понять: сеть имеет множество узлов и соединений, а характер маршрутизации трафика асимметричен, т.е.
трафик в сторону и от любого IP-префикса.
идет по разным маршрутам.
В отличие от дата-центров или корпоративных сетей, у операторов связи нет границы в классическом понимании, и нет возможности установить инструменты анализа в одной или нескольких точках границы.
Поэтому архитектурно эффективно построить систему AntiDDoS, состоящую из двух подсистем:
- Подсистема обнаружения аномалий: собирает и анализирует данные о трафике.
- Подсистема фильтрации: блокирует паразитный трафик.
Как обнаруживаются DDoS-атаки?
Чтобы иметь возможность анализировать трафик и выявлять аномалии в отношении любого IP-адреса, принадлежащего AS12389, напрямую подключенного к нему или проходящего через него, необходимо анализировать весь трафик (каждый маршрутизатор, каждый IP-интерфейс).Чтобы эффективно решить эту проблему (с экономической точки зрения), мы собираем информацию о трафике с помощью протоколов сетевой телеметрии ( J-Flow v5/9 , Нетстрим , ИПФИКС ).
Ниже для простоты мы будем называть все семейство этих протоколов NetFlow. Эти протоколы не позволяют анализировать информацию уровня приложения и передают информацию до 4-го уровня модели OSI, например, J-Flow v5 имеет следующую структуру заголовка: 
Где:
- IP-адрес источника — IP-адрес источника.
- IP-адрес назначения — IP-адрес назначения.
- IP-адрес Next-Hop — IP-адрес следующего маршрутизатора, на который будет передаваться сетевой поток.
- Входные данные ifIndex — SNMP-индекс интерфейса, через который маршрутизатор получает поток.
- Вывод ifIndex — SNMP-индекс интерфейса, через который маршрутизатор передает поток
- Пакеты — общее количество пакетов, полученных в потоке.
- Байты — общее количество байтов, полученных в потоке.
- Время начала потока - время начала потока
- Время окончания потока - время окончания потока
- Исходный порт - исходный порт
- Порт назначения – порт назначения
- TCP-флаги — TCP-флаги
- IP-протокол - номер IP-протокола
- ToS - тип услуги
- Source AS - исходный IP-номер автономной системы
- Destination AS - IP-номер автономной системы назначения.
- Source Mask - маска IP-сети источника
- Destination Mask - маска IP-сети назначения.
- Отступы — отступы для эффективного использования всей длины заголовка.
- Тип/код ICMP
- IPv6
- МПЛС
- Одноранговая AS BGP
Мы пока не используем NetStream в системе продуктивности, но планируем добавить его в ближайшее время.
На данный момент AS12389 состоит из более чем 300 маршрутизаторов, поэтому для сбора NetFlow развернута инфраструктура коллекторов, позволяющих получать, обрабатывать и записывать в базу данных на высокой скорости.
Учитывая, что по сети передаются терабиты в секунду, даже при использовании механизма выборки с высоким коэффициентом (> 4к), маршрутизаторы генерируют более 300 тысяч записей NetFlow в секунду.
Выборка позволяет анализировать не каждый пакет, проходящий через маршрутизатор, а выборочно в соответствии с фирменным алгоритмом, который производители реализуют в своем оборудовании, что снижает нагрузку на Control Plane или на сервисную карту маршрутизатора.
На коллекторах создаются так называемые таблицы биннинга, в которые отображается NetFlow и собирается статистика по защищаемым объектам.
Под объектом защиты мы понимаем объект в системе, который описывается любой из следующих характеристик:
- Список префиксов IP (блоки и группы CIDR)
- ASN, включая возможность установки атрибутов AS-Path и сообщества.
- Сетевые интерфейсы
- Фильтр потока — это логическое выражение, описывающее различные параметры и комбинации полей заголовков IP и транспорта.
Например, " хост dst 1.1.1.1 и протокол TCP и порт dst 80 ".
Список доступных полей:
- Средняя длина пакетов
- Адреса назначения
- Порты назначения
- ICMP-коды
- Типы ICMP
- Протоколы
- Исходные адреса
- Исходные порты
- TCP-флаги
- Биты ТОС
Вы также можете вручную установить статический профиль в виде порогов для наиболее популярных сигнатур атак.
Например, большинство DDoS-атак типа Amplification (NTP, DNS, Chargen, SSDP и т. д.) прекрасно обнаруживаются этим методом.
Если трафик отклоняется от пороговых значений, система генерирует сообщение об аномалии.
В зависимости от процента превышения порога аномалии делятся на три типа по уровню критичности: низкие, средние и высокие.
Чаще всего низкоаномалии характеризуются всплеском легитимного трафика, например, запущенной маркетинговой кампанией, в ходе которой на защищенный сайт пришло больше пользователей, чем обычно.
Поэтому специалисты дежурных смен более внимательно следят за средними и высокими аномалиями.
Как фильтруются DDoS-атаки?
После того как система обнаружила аномалию в отношении защищаемого ресурса, его трафик может быть перенаправлен на фильтрацию как вручную, так и автоматически.Существует несколько методов фильтрации:
- Фильтры спецификации потока;
- Black-Hole Routing — мы не используем его при предоставлении услуги AntiDDoS, поэтому в этой статье уделим совсем немного места;
- Интеллектуальная фильтрация в Центрах очистки трафика (ЦОП).
Перенаправление осуществляется путем объявления внутри AS12389 более конкретного маршрута к защищаемому объекту через дата-центр.
Таким образом, весь трафик, включая паразитный, затягивается в дата-центр, где фильтруется, затем «чистый» трафик доставляется в сеть клиента.
Во избежание петель маршрутизации мы используем механизм доставки трафика через MPLS, передавая метки маршрутизации через BGP Labeled-Unicast (механизмам доставки очищенного трафика будет посвящена отдельная статья).
Выбрав этот метод и настроив свое оборудование один раз, мы исключаем необходимость дополнительных настроек на стороне клиента.
Таким образом, любой, кто подключен к AS12389, может быть защищен.
Ответный трафик от клиента маршрутизируется по best-path, т.е.
без изменения маршрутизации, и таким образом не попадает в ЦТП.
Таким образом, формируется безусловная асимметрия, имеющая как свои недостатки (возможность применять те или иные меры противодействия и анализировать ответы приложений), так и преимущества (не увеличивает задержку ответного трафика).
Асимметрия в способах доставки трафика влияет на набор возможных мер противодействия (правил фильтрации), что заставляет разработчиков систем искать варианты выявления паразитного трафика и ботов, основанных только на входящем трафике.
Несмотря на то, что обнаружение атак не включает уровень приложений, фильтрация трафика происходит до уровня L7 модели OSI, используя как сигнатурные, так и поведенческие методы.
ЦТП построена на специализированном оборудовании на базе АТСА -платформы, что позволяет получить высокую производительность фильтрации (в том числе на уровне приложений) на одно шасси.
В последние годы с появлением таких технологий, как Intel ДПДК , ГиперСкан , 10G и 40G сетевых карт, а также увеличение количества ядер ЦП позволило достаточно эффективно распараллелить обработку сетевых потоков, поэтому в ближайшее время мы планируем перейти от ATCA к серверам архитектуры x86.
Для чего тогда нужна спецификация потока и как ее использовать?
Все современные маршрутизаторы операторского класса имеют встроенные механизмы фильтрации до L4 OSI, которые у разных производителей могут называться по-разному, но в целом они называются списком управления доступом (ACL).ACL реализован аппаратно в линейных картах и способен фильтровать как транзитные пакеты, так и пакеты, предназначенные для самого маршрутизатора, на скорости канала (line-rate) или близкой к ней, что делает эту технологию весьма полезной, если нам нужно отсечь ложный трафик.
как можно ближе к источнику атаки, т.е.
на границе нашей сети.
Но т. к.
ACL настраивается локально на каждом роутере, а их, как мы уже говорили, у нас более 300, то в случае атаки оперативное применение фильтров становится невозможным.
С целью централизованного управления (создание, удаление) ACL был разработан протокол Спецификация потока BGP (RFC 5575) .
Некоторые операторы предоставляют FlowSpec своим клиентам как услугу; Ростелеком пока этого не делает, т.к.
активно использует это в своих целях, а количество правил, поддерживаемых роутерами, пока недостаточно велико.
Рекомендуем Вам обратиться к своему оператору и узнать о наличии такой услуги, поскольку.
FlowSpec реализован в таких проектах, как ExaBGP , что позволяет получить доступный инструмент для установки фильтров в сети оператора и защиты от атак, направленных на канал, не приобретая дорогую услугу.
Такой вариант защиты подойдет не всем, но может стать достаточной и недорогой альтернативой полноценному сервису AntiDDoS. Используемая нами система позволяет распространять эти фильтры прямо из веб-интерфейса.
Таким образом, мы можем настроить триггеры и автоматически создавать задачи фильтрации на основе аномалии, обнаруженной системой.
Разные производители сетевого оборудования, а также разные версии операционных систем этих производителей могут применять эти фильтры как ко всем интерфейсам, так и к выбранным, тем самым снижая нагрузку на оборудование без пропускания каждого пакета с каждого интерфейса через цепочку правила.
В основном мы используем FlowSpec как первый эшелон фильтрации для тех атак, которые хорошо поддаются шаблонам до L4: сюда идеально подходят практически все атаки Amplification на основе UDP. Это позволяет не гнать паразитный трафик в ЦТП, а отсекать его как можно раньше, а затем производить «тонкую» очистку оставшегося трафика.
Есть ли место для Блэкхола?
В самом элементарном случае, в том числе когда ложный трафик направляется в сторону ресурса, на котором ничего не публикуется (а такое тоже случается), у оператора есть возможность направить весь трафик на этот ресурс в Blackhole. Для этого на каждом маршрутизаторе задается маршрут, next-hop которого смотрит в отброс, т.е.трафик просто сбрасывается.
Если необходима централизованная раздача, Blackhole использует систему маршрутов-рефлекторов, трафик на приставку регистрируется на одном из них, и в результате все маршрутизаторы получают этот маршрут.
А как насчет сообщества Blackhole?
Оператору рекомендуется использовать различные Атрибут BGP Communities за способность клиента управлять своим трафиком.Одним из таких сообществ является сообщество Blackhole. Обычно операторы публикуют эту информацию в примечаниях к базе данных маршрутной информации своей автономной системы, например: СПЕЛЫЙ .
По Ростелекому данные сообщества 12389:55555 .
Префиксы у этого сообщества принимаются до /32, а у других — не конкретнее /24.
Сотрудничают ли операторы друг с другом по вопросам защиты от DDoS-атак?
В некоторых вопросах — да, в основном это касается включения BGP FlowSpec на их стыках, но делают это достаточно осторожно, т.к.периодически выявляются баги в реализации протокола на оборудовании того или иного вендора.
В остальных случаях, т.к.
услуга защиты от DDoS-атак пока является коммерческой, но из-за конкуренции отсутствуют технические и организационные способы взаимодействия с обменом информацией об атаках (типа МОК ).
На каких решениях основаны операторские системы обнаружения и защиты от DDoS-атак?
В России наибольшую популярность получили следующие решения:- Арбор Сети" СП " И " ТМС "
- Радварное ПО" ЗащитаПро "
- МФИ Софт» Периметр "
- «Иновентика Технологии» ИнвГард "
- НСФокус" ОБЪЯВЛЕНИЯ.
" и "НТА" - Хуавей» АнтиДДоС8000/10000 "
Чем операторы отличаются от облачных сервисов?
Оператор связи предоставляет услугу только тем клиентам, которые физически подключены к его сети, ведь, как вы уже поняли, оператор может собирать статистику трафика и перенаправлять ее для фильтрации в дата-центр только внутри своей сети.Подключение к услуге защиты от DDoS-атак не требует каких-либо действий со стороны клиента (в нашем случае).
Оператор также защищает весь канал, а не отдельные приложения и сервисы, что позволяет обеспечить полную защиту всей ИТ-инфраструктуры.
На начальном этапе своего развития облачные сервисы защищали только сайты.
Трафик был перенаправлен путем изменения записи A в DNS на IP-адрес из облачного пула IP-адресов.
Очищенный трафик доставлялся клиентам методом обратного прокси.
Этот способ перенаправления и доставки по-прежнему актуален и является самым популярным.
Но если у заказчика, помимо сайта, были и другие критичные ресурсы (DNS, почтовые серверы и т. д.), которые необходимо было защитить, этот метод не позволял перенаправить весь трафик в облако.
Затем облачные сервисы стали соединять сети клиентов через VPN, что по сути заставило их перекрыть интернет-провайдеров, которые стали фильтровать не отдельное приложение, а весь канал.
В последнее время операторы также начали развертывать в своих сетях кластеры с обратным прокси и WAF, что позволяет им защищать клиентов, находящихся за пределами их сети.
Таким образом, мы видим, что условная граница между операторами и облачными сервисами начинает стираться.
Вероятно, нет особого смысла сравнивать сферический оператор со сферическим облаком, поскольку даже последние могут существенно отличаться друг от друга.
Например, одни разрабатывают систему самостоятельно, другие строят на основе готовых промышленных решений от различных вендоров, третьи имеют сеть дата-центров, распределенных по всему миру и подключенных к разным апстрим-операторам, третьи имеют один или несколько дата-центров.
на территории одной страны с подключением к одному из местных операторов связи пятые требуют обязательной установки датчиков на сайте заказчика, а другие специализируются только на веб-трафике.
Эту тему мы постараемся осветить в наших следующих статьях.
Подводя итог, как мы видели выше, для оператора связи характерны следующие особенности:
- благодаря своим размерам оператор связи имеет возможность «принимать» для фильтрации большой объем трафика;
- Для крупного оператора связи его архитектура позволяет осуществлять фильтрацию на входе в сеть;
- после первичной фильтрации поток «грязного» трафика становится значительно меньше, и его можно анализировать уже в дата-центре;
- качество фильтрации зависит от ряда параметров, основными из которых являются возможности системы фильтрации и опыт NOC/SOC;
- Для оператора связи, если клиент уже пользуется его услугами, зачастую проще и быстрее подключить его к защите и начать фильтровать трафик.
За это время мы несколько раз модернизировали подходы как в части сбора аналитики, фильтрации трафика, доставки очищенного трафика, так и в части сбора аналитики, фильтрации трафика, доставки очищенного трафика, и реализованы дополнительные опции, такие как CloudSignaling. В следующих статьях, рассказывая о технологиях, которые мы используем, мы обязательно покажем ретроспективу и раскроем причины, которыми мы руководствовались при выборе пути развития.
Теги: #it-инфраструктура #ddos-атака #ddos-защита #ddos-защита #хранение данных #атаки #Ростелеком #ddos-защита
-
Как Исправить Ошибки, Связанные Со Скоростью
19 Oct, 24 -
Xbox 360 Получит Чат И Клавиатуру
19 Oct, 24 -
Брюс Стерлинг Снял Фильм О Будущем Городов
19 Oct, 24
