Тема импортозамещения не сходит со страниц изданий последние месяцы.
Очевидно, что в сфере работы с данными компании также активно ищут новые возможности использования продуктов, которые не будут заблокированы в России, а производитель продолжит оказывать техническую поддержку.
Меня зовут Полина Тесленко, я работаю в Консалтинговой группе компаний «КОРУС».
В этой статье я хочу поделиться практическим опытом работы с импортозамещающим программным обеспечением - Luxms BI. 
Luxms BI — это платформа визуального контроля и аналитики, которая автоматически собирает, обрабатывает и визуализирует данные для отчетности.
Мы делаем проекты по данной системе уже более трёх лет. Их технологический стек воплощает в себе подход, ориентированный на данные, и уникальную методологию подготовки данных, в то же время предоставляя нам высокоскоростной доступ к данным во время разработки и возможности настройки.
Он состоит из нескольких компонентов.
Сегодня мы поговорим о двух — импортере и модуле оптимизации загрузки данных в BI.
Импортер
Компонент импорта Luxms BI решает проблему загрузки данных из внешних источников и представляет собой реализацию ETL-стека для их агрегации и преобразования.
Источником данных может быть любое хранилище, способное предоставлять данные в виде плоских таблиц, поэтому для максимально гибкого взаимодействия мы работаем с реляционными базами данных через SQL. Импортер преобразует данные из плоской таблицы в трехмерный куб OLAP: 
Чтобы отобразить необходимые данные в целостный индикатор платформы — набор данных, импортер хранит так называемые пакеты, которые представляют собой скрипт из SQL-запроса, объединяющий набор метрик, периодов и локаций, а также параметры отображения с помощью фильтрации.
процедуры, проверки и другие преобразования, разделенные индивидуально для свойств каждого набора данных.
Результат выполнения SQL-запроса берет данные из источника и помещает их в контейнер фрейма данных в виде плоской таблицы.
В результате, когда импортер обычно загружается, операции агрегирования выполняются над фреймом данных, а затем сохраняются в набор данных, что впоследствии позволяет отображать визуальные данные на платформе Luxms BI.
Данные Luxms скучные
Luxms Data Boring — это инструмент потокового программирования.Мы используем его на бэкэнд-уровне.
Его основная задача — оптимизировать процесс загрузки данных в систему.
Потоковое программирование — это способ описания поведения приложения как «узлов», соединенных логической последовательностью.
Каждый узел имеет четко определенную цель.
Ему на вход подаются определенные данные или команды, он выполняет заданные операции, а затем передает обработанные «сообщения» дальше по соединениям к другим узлам.
Каждый узел получает сообщение данных через абстрактный интерфейс — порт, который работает так же, как сетевой порт в компьютерной сети.
Данные передаются в него через буфер ограниченного размера.
Один порт может ссылаться на несколько экземпляров одного и того же компонента, что упрощает использование структуры в распределенной системе или для параллельной обработки.
Большая часть кода инкапсулирована, то есть изолирована наподобие «черного ящика», о внутренних процессах которого можно судить по его реакции на внешние воздействия.
Следовательно, исходный код имеет высокий потенциал для повторного использования.
Это также означает, что обновление или масштабирование приложения, основанного на потоковом программировании, может быть проще, чем использование более интегрированного приложения: систему обмена сообщениями, модули и систему портов можно изменять независимо, не затрагивая всю программу.
Для взаимодействия с Data Boring как с пользовательским интерфейсом в браузере открывается рабочая панель, где можно построить необходимую цепочку узлов по принципу визуального конструктора, перетаскивая их из палитры готовых шаблонов в рабочую область и соединяя их вместе.
Также есть возможность расширить палитру доступных модулей или доработать готовые, добавив финальную и наглядно формируемую функцию, с портом ввода/вывода.
Логика узлов может быть реализована как на JavaScript, так и на других языках.
Одним щелчком мыши приложение развертывается на сервере в среде выполнения, где запускается серверная часть для работы платформы.
Благодаря возможности параллельной загрузки данных и упрощенному рабочему процессу Data Boring оптимизирует работу с BI-платформой.
Визуально компонент довольно элегантен и интуитивно понятен.
Мое исследование потенциала Data Boring все еще продолжается, но я уже оценил его универсальность и возможности, которые на самом деле гораздо шире, что вполне может квалифицировать его как многозадачный компонент. Работа с компонентами импорта данных Luxms BI продолжается, процесс взаимодействия и совместных разработок активно развивается, модернизируется и расширяется стек технологий, что является интегральным индикатором прогресса импортозамещения.
Думаю, что при нынешней динамике ассортимент платформы будет пополняться новыми решениями и инструментами, с которыми каждый сможет ознакомиться лично.
Теги: #Анализ и проектирование систем #аналитика #Тестирование ИТ-систем #Визуализация данных #специалист по данным #анализ данных #импортозамещение #анализ данных #бизнес-аналитика #бизнес-аналитик #BI
-
Jsoc: Опыт Молодого Российского Mssp
19 Oct, 24 -
Выпущена Firebird 3.0
19 Oct, 24 -
Я Не Хочу Qip Инфиум
19 Oct, 24
