Пока идут разговоры об уходе ИТ-специалистов, об их возвращении, о поддержке ИТ-компаний, а неофиты панд увлеченно парсят json, есть предложение посмотреть на роль инструментов Data Science в современной ИТ-инфраструктуре с несколько иной точки зрения.
зрения.
DS — это не просто подсчет пельменей, кликание мышкой по круговым диаграммам или создание системы N+1 для рекомендации фильмов из вселенной Marvel. Является продолжением серия предыдущих публикаций .
Формул и картинок почти не будет. Ключевое слово – операционная аналитика.
Если коротко, то это алгоритмический блок, встроенный в петлю обратной связи, подсистему мониторинга основных ИТ-систем и процессов.
Это уже давно используется в технике и промышленности.
Начиная с классической отрицательной обратной связи в схемах усилителей.
Возьмем другие примеры – авионику, которая позволяет доминировать в воздушном пространстве самолетам, не имеющим идеальной аэродинамики.
Незначительные компромиссы, возникающие на физическом уровне, можно регулировать на уровне обратной связи.
Или наушники с шумоподавлением.
Или управляемая подвеска автомобиля.
Или автоматическая коробка передач.
Создание идеально работающей системы в физическом мире гораздо дороже, сложнее и трудоёмче, чем создание корректирующего цифрового слоя.
В конце концов, каждое физическое изменение может потребовать поиска окон приемлемого времени простоя для обслуживания, или ресертификации, или массового обновления, или других серьезных изменений.
Самое главное, что за счет целенаправленных доработок можно получить качественный прирост наработки на отказ и достичь всеми любимых показателей готовности «N девяток».
Дело 1 Оперативная аналитика бизнес-процессов (бизнес-мониторинг).
В отличие от классического мониторинга или SRE (вот опять заново открыли и раскрутили известную вещь, см.
https://www.brendangregg.com/ !) Мониторинг бизнес-процессов работает в характерном временном масштабе 5-10 минут и выше, что определяется характерными временами в бизнес-процессах.
Аналитика может использовать широкий спектр данных, как текущих, так и исторических.
В dstools нет ограничений на используемые алгоритмы — все доступно.
И кластеризация, и нейроны/бустинг, и деревья, и GAM, и алгоритмы для временных рядов, и НЛП, и графики, и анализ процессов, и классический DSP, и т. д. Грамотно построенная система с правильными инструментами позволяет покрыть сеть федерального масштаба с минимумом аппаратных ресурсов.
Если не трогать ETL, то это отдельная транспортная задача на слабых каналах; само рабочее ядро можно запустить на 2-4 машинах с параметрами 16-20 ядер ЦП, 128+ ОЗУ, 1-2Тб SSD. р + Кликхаус .
Ряд практических примеров (далеко не все) был упомянут ранее:
- «BMS в X5: как выполнять анализ бизнес-процессов в неструктурированных журналах POS с помощью R»
- «Мониторинг работоспособности ИТ-сервисов с помощью R. Взгляд под другим углом»
- «Использование R в задаче обновления программного обеспечения кассового аппарата»
Важно отметить, что в крупных комплексах есть еще один важный момент, находящийся вне контроля разработчиков и эксплуатации.
Это называется «Интеграция с внешними системами».
Это могут быть как полностью внешние системы других ведомств, например ЕМИАС, ЕГАИС, ФИАС,.
с которыми работа ведется в формате «как есть», так и другие ИТ-системы внутри собственной компании.
Но даже если при решении ваших частных задач в работе этих внешних систем обнаружатся проблемы или ошибки, для исправления этих ошибок нет ни полномочий, ни бюджета.
Вам нужно написать обходной путь.
Инструменты DS отлично работают в этой части.
Локализация проблем, исследование, создание корректирующих слоев.
Важно сохранить архитектуру ядра и алгоритмы основной ИТ-системы в целости и не деформировать ее для поддержки обнаруженного несовершенства среды.
Не создавайте эффект домино своими руками.
Случай 2 Мажоритарная избыточность и параллельные вычисления.
Довольно типичный случай.
Некоторое время назад они создали большую и сложную систему.
Разработчики ушли, исходников нет, окружение меняется.
Время от времени система впадает в ступор, а поддержка не знает причины.
Для бизнеса важно обеспечить функциональность этой системы.
В этом случае стек DS может очень помочь.
Дело вот в чем.
Параллельно с продуктивной системой (например, сложным порталом) строится альтернативный вычислительный поток с использованием реконструированных алгоритмов.
Он прост, потому что выполняет расчеты только по ключевым точкам основной системы, не отягощен взаимодействием с пользователями и практически не содержит внешних артефактов.
Основная цель этого модуля – получение альтернативных результатов для последующей сверки.
Если оба канала (основная ИТ-система и альтернативный расчет) дают одинаковые показатели, то все в порядке.
Если дела рассинхронизированы, нужно срочно привлекать людей из поддержки, не дожидаясь грома и молнии от бизнеса.
В теории надежности это называется моделью с мажоритарной структурой, см.
, например Гаврилов М.
А.
, Остиану В.
М.
, Потехин А.
И.
Надежность дискретных систем // Итоги науки.
Сер.
Теор.
вероятный мат. стат. Теор.
кибернет. 1969, 1970, 7–104. .
Случай 3 Лет 5 назад в теме SIEM начали активно говорить об использовании ds-стека с открытым исходным кодом.
Классический сайт - Безопасность, основанная на данных .
К ним относятся задачи анализа активности пользователей, поиска аномалий, обнаружения ошибок и дыр в программном обеспечении, а также обнаружения «закладок» в системах посредством поведенческого анализа.
Системы защиты от мошенничества достаточно эффективно строятся с использованием журналов действий.
А появление дешевых SSD-накопителей позволяет самостоятельно создавать сложные DPI-системы для глубокого анализа информационных потоков в распределенных системах — здесь нужен не режим реального времени, а вдумчивый анализ для поиска аномальных закономерностей.
Заключение 3 случая – это не предел, а простое количественное ограничение.
Это всего лишь небольшая практическая демонстрация того, что можно элегантно сделать в стеке ds. И то, что купить в режиме «вендор из коробки» достаточно сложно или невозможно.
Предыдущая публикация - «Без Таблы жизнь не будет прежней…» .
Теги: #информационная безопасность #python #it-инфраструктура #мониторинг #наука о данных #Интеллектуальный анализ данных #siem #siem #SIEM #r
-
Почему Ваш Gtd Неэффективен?
19 Oct, 24 -
Канобувости, 56-Й Выпуск
19 Oct, 24 -
Инструктируем Пользователей О Смене Dns
19 Oct, 24 -
Вяз. Удобно И Неловко. Состав
19 Oct, 24
