Случайные Базы Данных. Oracle Enterprise Data Quality — Щит И Меч Корпоративного Хранилища

Мыслительный процесс любого человека сложно математизировать.

Любая бизнес-задача генерирует набор формальных и неофициальных документов, информация из которых отражается в корпоративном хранилище.

Каждая задача, порождающая какой-либо информационный процесс, создает вокруг себя набор документов и логику их обработки, которая мало формализована в корпоративной среде хранения.

В хранилище данных должны быть структуры для очистки информационного потока.

В этом может помочь продукт Oracle Enterprise Data Quality, который призван решить проблему очистки «грязных» данных.

Но этим его использование не ограничивается.

1. Понятие случайной базы данных.

Первые деловые связи человека описываются формальными и неофициальными документами, такими как заявление, декларация, трудовой договор, заявление о трудоустройстве, заявление на ресурс.

Эти документы создают логические связи между бизнес-процессами, но, как правило, являются продуктом мышления офис-менеджеров и плохо формализованы.

Задача любой, даже несколько сложной оптимизации — не просто понять формальные и неформальные правила, но, зачастую, свести разрозненные знания в общую информационную базу.

Определение.

Назовем случайной базой данных набор фактов, документов, ручных заметок, формальных документов, которые обрабатываются людьми для конкретного бизнес-процесса, но не могут быть обработаны полностью автоматически из-за сильного влияния человеческого фактора.

Пример.

Секретарь формально принимает трубку.

Звонящий заинтересован в продукте или услуге.

Вызывающий абонент неизвестен CRM. Вопрос: что должен сказать звонящий, чтобы его услышал специалист? Если сформулировать точнее: насколько деловые инструкции секретаря допускают формальный диалог о бизнесе, если ответственный специалист не готов к такому виду деятельности? Получается, что мы снова приходим к определению случайной базы данных.

Возможно, там содержится больше фактов, чем может знать секретарь.

Но полученная в нем информация не может быть лишней.

Вообще, когда на вход формализованной системы поступают случайные факты из случайной базы данных, то возникает такое явление, как информационная перегрузка – а вся информационная перегрузка может повлиять на продуктивность не только секретаря, но и всей компании.

Если его использовать в целях обработки, то машина, считывающая состояния этой информации, приходит на основании логических выводов в состояние, противоположное человеку – информационную перегрузку.

Человеческая логика более гибкая.

2. Применение определения к реальным проблемам.

Представим себе магазин, в котором ценники на случайные товары заметно завышены или занижены.

При выходе из этого магазина в голове неопытного покупателя со списком покупок останется цена 5-7 (а то и 3) самых популярных товаров, цена которых может повлиять на размер общего чека.

Оказывается, если бы можно было знать перечень товаров, цену на которые покупатели чаще всего запоминают, то и остальные цены можно было бы варьировать в относительно широком диапазоне.

Вы когда-нибудь задумывались, почему перед Великим постом мясо сначала резко дешевеет, а потом может подорожать, а потом исчезнуть? Цена товара, спрос на который может упасть до нуля, сначала искусственно подогревается, затем, перейдя определенный уровень спроса, начинает фиксироваться, а через некоторое время принудительно возрастает, так как жадность не позволяет продавать.

и без того неликвидный товар по справедливой цене.

Практически аналогичная ситуация складывается на рынке данных.

Самая полезная информация почти всегда скрыта за вторичными гипотезами о ее применимости и извлечении.

Достаточно разместить на любом относительно незащищенном ресурсе любую информацию, которая заинтересует 5000-7000 человек; сайты для копирования обязательно будут. Или знаменитая игра с телефонными кодами «Кто мне звонилЭ» Около тысячи сайтов в Рунете состоят только из номеров телефонов различных операторов, чтобы быть чуть выше в результатах поиска, пытаясь как-то подороже продать доменное имя и рекламу.

3. Цена вопроса при работе с «грязными» данными.

По исследованиям автора статьи, до 10% трудовых ресурсов каждого проекта отвлекается на написание тех или иных процедур очистки данных.

Если не останавливаться на совершенно банальном типе и длине, то существуют еще уникальные идентификаторы, правила целостности баз данных и правила деловой целостности, количественные и качественные шкалы единиц, системы единиц трудоемкости и любые другие состояния, влияния, переходы, составление из которых требуется как обычный статистический, так и логический и серьезный бизнес-анализ.

Формализация требований приводит к необходимости формализовать связь факт-измерение как для построения хранилищ, так и для решения фронтальных вопросов.

Согласны, если 70% времени работы любого хранилища занимают ETL-процессы, то экономия 5-7% ресурсов на правильной очистке данных на условном хранилище на 200 000 клиентов — это уже хороший бонус? Давайте прольем свет на проблемы «грязных» данных в готовых системах.

Допустим, вы отправляете поздравления с национальным праздником 10 000 клиентам по почте.

Сколько людей бросят ваше письмо с самой красивой открыткой в почтовый ящик, если вы ошибетесь в имени, фамилии или неправильно укажете пол в форме? Цена ваших усилий способна свести настроение любого пользователя к нулю! 4. Oracle Enterprise Data Quality — щит и меч корпоративного хранилища.

Представленные нами снимки экрана описывают возможности продукта Oracle Enterprise Data Quality. Итак, позвольте кому-нибудь пролить воду на вашу базу данных или текстовый документ.



Вот список стандартных процессоров (логических единиц, которые позволяют использовать к данным определенных гипотез или для поиска того, что требуется):



Случайное действие профилировщика базы данных:



Эбазовая проверка финансовой состоятельности:



Работа с почтовым индексом:



Работы по очистке почтовых адресов:



Очистка пользовательских данных:



Присвоение записи определенному доверительному интервалу:



Определение пола пользователя по косвенным данным:



Определение города и страны, штата:



Простейший поиск ключей в случайной базе данных:



Дедупликация пользовательских данных:



5. Интересные наблюдения, сделанные по результатам работы над Oracle EDQ. Одним из принципов сравнения вклада писателей и поэтов в литературу является сравнение их поэтического и литературного словаря.

Вот несколько словарей, составленных в свободное время для тестирования готовых решений в Oracle EDQ, Python и Java. Будем признательны, если авторы-филологи опубликуют свои результаты в комментариях.

Кстати, статистика Дарьи Донцовой во многом совпадает со статистикой Льва Толстого в области частотности лексики полного собрания сочинений.

6. Несколько формальных заявлений в качестве заключения.

В нашей стране проживает около 60 тысяч Иванов Иванов Ивановичей.

Предполагая, что где-то гипотетически средняя база данных хранит 100 таблиц, каждая таблица имеет 10 ключевых полей и каждый ключ может принимать 60 тысяч значений, мы обнаружим, что общее количество уникальных состояний ключа в базе данных составляет примерно 60 миллионов.

Даже если в одной таблице смешаны два ключа, они могут генерировать до 20 уникальных состояний в одной таблице.

Всего база уникальных состояний может содержать до нескольких тысяч.

Согласны ли вы, что тратить 10% времени разработки и 5-7% времени выполнения ETL на отлов таких мелочей — непозволительная роскошь? UPD1 Если в работе вам надоело таскать с собой систему контроля для каждого мало-мальски важного каталога, то вам на помощь придут системы MDM (Master Data Management).

Разумеется, мы поставляем на рынок такие системы, в том числе и в бесплатной версии программного обеспечения.

УПД2 Очень часто на конференциях задают вопрос: «Как дешевле создать систему управления качеством данных».

Пожалуйста, считайте эту статью небольшим введением в этот вопрос с некоторым упрощением функциональности EDQ. Да, и ещё, можно взять комбинацию ODI+EDQ и сделать это очень хорошо, но это уже предмет дальнейшего обсуждения.

Теги: #Oracle Enterprise Data Quality #java #проектирование системы #забавные задачи #oracle #java #Управление разработкой

• Оставайтесь На Связи: От Этого Зависит Ваш Бизнес

  19 Oct, 24

• Бизнес-Причины Высокого Рейтинга В Поисковых Системах

  19 Oct, 24

• Почему Стартаперов Заставляют Быть Трудоголиками – Математическое Обоснование

  19 Oct, 24

• Ifa 2013. Новинки От Philips. Акустика И Телевизоры

  19 Oct, 24

• Экосистема Javascript: Тенденции 2021 Года. Все Ли Так Ясно?

  19 Oct, 24

• Освоение Китайского Bi. Как Построить Дашборд В Finebi Всего За 1 Час

  19 Oct, 24

• Приложения, Которые «Самостоятельны» Или Что Такое «Опытное Программное Обеспечение»

  19 Oct, 24

• Windows 8 Для Разработчиков: Возродившаяся Мечта? (1/2)

  19 Oct, 24

• От Commodore До Ipad

  19 Oct, 24

• Глава Минкомсвязи Николай Никифоров Обсудил Вопросы Сотрудничества С Alibaba Group

  19 Oct, 24