Что Такое «Система Управления Основными Данными» И Зачем Она Нужна?

Управление основными данными (MDM) — это дисциплина, которая работает с основными данными с целью создания «золотой записи», то есть целостного и всестороннего представления основной сущности и связей, стандарта основных данных, который используется на всем предприятии.

а иногда и между предприятиями для облегчения обмена информацией.

Специализированные системы управления основными данными (MDM-системы) автоматизируют все аспекты этого процесса и являются «авторитетным» источником основных данных масштаба предприятия.

Часто системы MDM также управляют справочными данными.

Ситуация, когда система MDM является единственным источником основных данных, все изменения вносятся в систему MDM и только потом передаются в системы-потребители, называется «системой записей».

Это идеальная ситуация для управления основными данными.

Однако в реальной жизни все не так просто: MDM-система не всегда будет «системой записей».

В связи с особенностями бизнес-процессов конкретного предприятия, техническими сложностями конкретных систем и т. д. возникает необходимость создания «копий» основных записей.

Система, содержащая копию основных данных, называется «справочной системой».

Чтобы не потерять контроль, «система связи» должна быть под контролем и синхронизирована с «системой записи».

Поэтому внедрение MDM-систем осуществляется последовательно с постепенным приближением к целевому результату по трем заданным измерениям.

Давайте подробнее рассмотрим эти измерения.

Наиболее распространенными доменами основных данных являются домен клиента и домен продукта.

В западной литературе появились устоявшиеся термины для управления основными данными в этих областях: интеграция данных клиента (CDI) для области клиента и управление информацией о продукте (PIM) для области продукта.

CDI традиционно включает в себя не только клиентов, но и организации или частных лиц, которые могут называться по-разному в зависимости от отрасли предприятия: клиенты, поставщики, банки, фонды, пациенты, граждане и т. д. ПИМ традиционно включает в себя: продукцию, товары, материалы, услуги, работы и т.д. В подходах CDI и PIM к управлению основными данными есть много общего, но есть и много различий.

Например, при дедупликации клиентских сущностей в большинстве случаев выполняется простой парсинг атрибутов сущностей и их сравнение на основе вероятностных алгоритмов, тогда как в предметной области осуществляется семантический/онтологический анализ атрибутов с включением механизмов самообучения.

.

Кроме того, в предметной области сущности могут иметь очень разные атрибуты в зависимости от выбранной категории (например, у ноутбуков свой набор атрибутов, а у стиральных машин — свой).

Все эти функции разных доменов должны поддерживаться системами MDM. В последнее время наметилась тенденция создания многодоменных MDM-систем с возможностью гибкой настройки структуры метаданных.

Такая гибкость дает предприятию возможность описывать мастер-данные конкретно для себя, учитывая все особенности и нюансы, но в то же время требуется много времени и знаний, чтобы грамотно спроектировать и настроить такую систему.

На рынке также существуют системы с «жесткой» структурой главных сущностей, которые уже имеют правильно настроенные механизмы, но использование такой системы возможно только теми предприятиями, которые смогут к ней адаптироваться.

Обычно такие системы хорошо подходят для решения задачи управления мастер-данными в рамках конкретной отрасли.

На мой взгляд, наиболее перспективными являются системы с гибкой моделью метаданных, но при этом имеющие заранее настроенные для предприятий разных отраслей модели, которые можно быстро переконфигурировать.

Другими словами, кто будет потребителем основных данных (их, естественно, может быть несколько).

Существует три основных метода использования: 1. Аналитический 2. Операционный 3. Совместная работа Метод аналитического использования поддерживает бизнес-процессы и приложения, которые используют основные данные в первую очередь для анализа эффективности бизнеса, предоставления необходимых отчетов и выполнения аналитических функций.

Это часто происходит при взаимодействии MDM с инструментами и продуктами BI. Обычно аналитическая MDM-система работает с данными в режиме только для чтения; он не меняет данные в исходных системах, а очищает и обогащает их.

Метод оперативного использования позволяет собирать, изменять и использовать основные данные во время выполнения бизнес-транзакций (операций) и служит для поддержания семантической согласованности основных данных в рамках этих операций во всех операционных приложениях.

Фактически в этом случае MDM функционирует как OLTP-система, обрабатывающая запросы от других работающих приложений или пользователей.

Работа в этом режиме часто требует построения единой интеграционной среды с использованием принципов сервис-ориентированной архитектуры (SOA) и инструментов корпоративной сервисной шины (ESB).

Идеально, если такие инструменты будут либо включены непосредственно в MDM-систему, либо будут ее продолжением (есть вендоры, у которых в линейке есть как MDM, так и ESB-решения, глубоко интегрированные друг с другом).

Коллективный метод использования позволяет создавать мастер-сущности в тех случаях, когда в процессе создания требуется коллективное взаимодействие между разными группами пользователей.

Такая сверка обычно имеет сложные «разветвленные» бизнес-процессы, состоящие из различных автоматизированных и ручных задач.

Задачи, выполняемые вручную, выполняются различными специалистами по данным (распорядителями данных) в порядке, определяемом бизнес-процессом.

Чаще всего метод коллективного использования применяется в предметной области.

Например, при создании нового продукта, когда за ввод разных данных отвечают несколько человек, приходится много ручной работы и окончательного утверждения.

Важно, что MDM-система позволяет настраивать произвольные бизнес-процессы для быстрой поддержки бизнес-процессов конкретного предприятия.

Стиль реализации реестра предполагает создание источника основных данных в качестве «системы связей» с источниками данных нижнего уровня.

MDM реестра содержит только ключевые атрибуты, необходимые для идентификации и сопоставления объектов.

Registry MDM работает в режиме только для чтения, при этом данные вводятся в исходные системы и передаются в MDM для разрешения объектов.

Также в реестре MDM могут храниться ссылки на источники неключевых данных, но сами данные в MDM обычно не передаются.

Стиль реализации реестра обычно используется при выборе оперативного метода использования MDM (см.

выше).

Сосуществующий стиль реализации предполагает распределенный ввод данных из нескольких источников (бизнес-приложений и системы MDM).

Система MDM в этом случае может быть «системой учета» только для части атрибутов.

Однако в MDM-системе формируется полноценная мастер-сущность, изменения которой передаются в другие системы (возможно, не все).

Сосуществующий стиль реализации достаточно прост и часто используется как первый шаг к следующему – транзакционному стилю, т.к.

не требует глубокой переделки систем, взаимодействующих с MDM-системой.

Транзакционный стиль реализации предполагает создание полноценной «системы записей», в которой хранятся все данные о главных сущностях.

Система MDM в данном случае является «единым источником истины» для всех потребительских систем.

Все операции по созданию и обработке данных выполняются на уровне системы MDM. Ввод данных на уровне потребительской системы запрещен.

Такой подход обычно довольно сложен в реализации, т.к.

требует существенных изменений в бизнес-процессах и абонентских системах.

Для принятия решения о стратегии реализации необходимо провести тщательный анализ всех этих факторов и составить детальное технико-экономическое обоснование проекта и подробный график с указанием этапов разработки проекта.

Но это еще одна обширная тема, требующая отдельного рассмотрения.

Одно можно сказать наверняка: к внедрению системы МДМ нужно подходить очень внимательно и прогрессивно.