Управление качеством данных — новая дисциплина.
Тенденция постепенно набирает обороты в нефтяной отрасли, банковском деле и розничной торговле.
Каждый идет своим путем, почти наощупь.
Я работаю аналитиком по качеству данных.
В этой статье я расскажу, как мы управляем качеством данных, с какими трудностями столкнулись и как их преодолели.
Визуализация качества данных на экране в офисе.
Уровень блока пропорционален количеству ошибок.
Наш ИТ-контур включает в себя более 30 крупных программных пакетов и систем, основанных на различных технологиях.
Есть крупные корпоративные системы, специальные программы по добыче нефти и собственные разработки.
При этом системы взаимодействуют и обмениваются информацией друг с другом.
Мы занимаемся добычей углеводородов.
Ошибки в нефтяной отрасли обходятся очень дорого.
Неверные данные о траектории скважины могут привести к заклиниванию оборудования и разрушению соседних скважин.
Стоимость ремонтных работ и штрафов достигают нескольких миллионов долларов.
Серьезные последствия требуют серьезного рассмотрения.
Исправлять ошибки в данных проще и дешевле, чем их последствия.
Что проверить?
Какие ошибки в данных важны, а какие можно пропустить? Мы решили отталкиваться от реальности и сосредоточиться на том, что вызывает проблемы у пользователей.Трудно заставить сотрудников отреагировать на фразу «У вас там неполные данные».
Но если вы скажете, что забыли поставить срок действия договора и подрядчика не пустят на поле, они отреагируют быстро.
Или другой пример.
План кустовой площадки не был своевременно обновлен.
Строители взяли план, на котором не был показан силовой кабель, и успешно его раскопали.
В результате куст скважин оказался обесточен.
А это не только затраты на восстановление, но и угроза жизни и здоровью сотрудников.
Проблема в данных привела к проблемам в реальном мире.
За такие ситуации берется аналитик по качеству данных.
Слайд из моего выступления на конференции «Smart Oil & Gas: Цифровая трансформация нефтегазовой отрасли».
Когда в данных обнаруживаются ошибки, аналитик ищет способы предотвратить их появление.
Например, проблемы можно избежать, изменив бизнес-процесс.
Либо ошибку можно предотвратить, обновив программное обеспечение, например, создав маску ввода.
Если ошибку полностью устранить не удается, правила проверки формализуются, и система управления качеством данных (собственная разработка) запускает их по расписанию.
Обнаруженные ошибки привязываются к конкретным людям, пользователь получает только те ошибки, которые относятся к нему.
Как измерить?
Чтобы что-то контролировать, сначала нужно это измерить.Первое, что приходит на ум, — это процент качества данных.
Вам нужно взять количество ошибок, разделить на количество объектов и получить число.
Но настоящего положения дел здесь не чувствуется.
Одна критическая ошибка на 1000 объектов даже не будет замечена.
И вообще, 99% это хорошо или плохо? Мы решили использовать абсолютные показатели — общее количество ошибок во всех отслеживаемых системах.
Динамика количества ошибок в корпоративных системах.
За полтора года мы прошли невероятный путь и сократили количество ошибок с 18 000 до 400.
Как мотивировать?
После того, как найдены болевые точки, необходимо выстроить систему взаимодействия с пользователями, которые должны исправлять ошибки.Дозвониться до конкретного человека непросто, особенно если ошибка его не затрагивает, а страдают люди в другом отделе.
Например, сегодня отдел бурения не указал глубину скважины, а завтра производственный отдел не знает, куда спустить насос.
Сложно найти универсальный рецепт, который подойдет всем.
В своей работе мы используем сочетание техник:
- Проводим тренинги;
- Объясняем, кто страдает от ошибок в данных и почему важно их исправлять;
- мы поощряем самых активных сотрудников;
- Мы проводим интерактивные игры, где в режиме соревнований обучаем пользователей принципам управления качеством данных и работе с ошибками;
- Мы влияем через менеджеров, куда же без этого.
Одна из наших визуализаций для привлечения внимания.
Глубина подводной лодки равна количеству ошибок.
.
Большим стимулом к сокращению количества ошибок стал обновленный шаблон письма об ошибке.
Изначально система рассылала статистику ошибок по проверке.
Это письмо больше похоже на отчет. Преобразование букв было слабым.
Мы решили перейти на формат, который будет стимулировать пользователей исправлять данные.
В новом шаблоне подробно указано, что пошло не так, почему важно это исправить и как это сделать.
Также имеются кнопки для взаимодействия с командой по обеспечению качества данных.
С их помощью мы получаем обратную связь от наших пользователей.
Пример письма об ошибке
Что дальше?
Мы постоянно ищем новые области, где управление качеством данных будет востребовано, привлекая новых людей и новые подразделения.В этом году мы добавили 100 правил проверки данных, а их общее количество превысило 500. Мы заинтересованы расти не только вширь, но и в глубину.
Нам бы хотелось найти единомышленников и организовать небольшой форум по управлению качеством данных, где мы могли бы обменяться опытом.
Как вы относитесь к качеству своих данных? Теги: #Хранение данных #Большие данные #управление качеством #качество данных
-
Еще Один Взгляд На Парадокс Ферми
19 Oct, 24 -
Jabber На Вашем Домене
19 Oct, 24 -
Стив Джобс На D8
19 Oct, 24
