Привет, Хабр! Меня зовут Александр Крот, я руководитель отдела разработки аналитических продуктов в SIBUR Digital. Сегодня я расскажу о проекте, связанном с цифровизацией процесса ценообразования – прогнозировании ценовых котировок.
Короче говоря, мы создали более 60 моделей, которые прогнозируют цены на нашу продукцию на разных рынках.
Раньше маркетологи собирали эту информацию вручную; эти 60-70 прогнозов заняли у нас несколько дней.
На результат повлиял человеческий фактор – возникали неточности, прогнозы не приходили вовремя.
Теперь модели автоматически пересчитывают котировки.
Польза от инструмента стала особенно очевидна в прошлом году, когда началась пандемия и связанные с ней карантинные ограничения: целые предприятия встали и заработали заново, границы закрывались и открывались, цены на продукцию менялись круглосуточно под воздействием большого количества внешних факторов.
, а нам нужно было точно и главное быстро управлять материальными потоками.
Как прогнозирование цен позволяет компании дополнительно заработать сотни миллионов рублей; как рассчитать влияние многих событий на эти цены; почему даже при наличии хорошего ML-фреймворка без человека всё равно нельзя.
Все подробности в посте.
Важным моментом является то, что процессы ценообразования оказывают существенное влияние на предельный доход. Это влияние не всегда легко оценить из-за постоянного вмешательства внешних факторов и коммерческих усилий, не связанных напрямую с инструментами ценообразования.
Из ориентиров и простых оценок можно сделать вывод, что это сотни миллионов рублей.
Первым инструментом расширенной аналитики стал проект динамического прогнозирования котировок для маркетинга и продаж.
Эффект рассчитывался через улучшение качества распределения материальных потоков – чем более точные прогнозы мы даем на вход, тем более качественные потоки мы получаем.
Давайте по порядку.
Динамическое прогнозирование котировок сельскохозяйственной продукции на мировых рынках на основе ML
Не реже одного раза в месяц СИБУР формирует ППР — план производства и продаж.Он строится на основе множества входных данных: прогнозов, предпосылок, ограничений и других.
Но самые важные данные — это данные о прогнозных ценах на рынках, где мы уже что-то продаем или потенциально можем что-то продать.
Цены формируются на основе прогнозов котировок на мировых рынках, а затем корректируются с учетом надбавок и скидок, определяемых маркетологами, исходя из нашей конкурентной позиции, планов продаж и т.д. Для прогнозирования котировок необходимо учитывать следующие факторы из внешних источников:
- ряд данных о продукте,
- на сырье для него и сопутствующую продукцию,
- заменители,
- индикаторы баланса рынка.
С ними сложнее – потому что сначала нужно придумать, как их учитывать.
Весь этот массив данных обрабатывается и отслеживается в режиме онлайн.
Прогноз на основе этих данных строится условно онлайн — некоторые данные меняются в реальном времени, другие обновляются раз в неделю.
С помощью методов машинного обучения строятся прогностические алгоритмы, включающие механизмы самообучения моделей.
То есть со временем влияние одних факторов увеличивается, других снижается, коэффициенты влияния меняются, модели переобучаются.
Кроме того, предусмотрены контролируемые механизмы обучения.
Ведь какой бы хорошей ни была модель, если на рынке происходит что-то принципиально новое, ей нужна помощь человека.
Она просто не поймет. Вот почему мы изначально разработали это решение как сочетание человеческой и системной работы.
Так выглядит интерфейс системы Если эксперт — бизнес-аналитик или маркетолог — видит какие-то существенные изменения на рынке, он вносит их в интерфейс как дополнительный фактор.
Этот фактор включен в заявку разработчику на дополнительное обучение модели.
Разработчик пробует этот фактор и видит, насколько он систематически повышает точность модели.
А если он увеличивается, то фактор входит в систему, новую модель.
Что еще дает нам этот инструмент, кроме формальных метрик? Он позволяет действительно быстро и в любой момент получить обновленный прогноз на основе происходящего во внешней среде.
Да, это требует экспертной проверки, но при этом у нас всегда есть некий ориентир, от которого можно начать работать.
Также в интерфейсе этой системы собираются основные информационные данные, которые помогают эксперту принимать решения, даже если они непосредственно не учтены в модели.
Прежде всего, это новости, связанные с продуктами и рынками.
Мы умеем одни новости оцифровывать, другие выводить в виде информационной подсказки, просто чтобы люди о них знали.
Некоторые дополнительно выделены яркой цветовой маркировкой, чтобы эксперт обязательно обратил на них внимание.
Помимо новостей, отображаются прогнозы других агентств.
С их помощью мы можем сравнить наши прогнозы с другими взглядами на мир.
И здесь есть механизмы анализа прогнозов, которые мы делаем: разная точность на ретроспективном периоде, волатильность и т.д. Суть в том, что это не просто модели.
Это платформа, которая работает со сквозным прогнозированием.
Техническая реализация
Теперь поговорим о том, как все это работает. Весь набор факторов и данных, на которых строится прогноз, собран в озеро данных , где предусмотрена определенная ролевая модель доступа к этим данным согласно требованиям информационной безопасности и при этом используются API. Автоматически, практически каждый день, мы получаем большой объем данных, на основе которых строятся все наши прогнозы на будущее, на основе которых мы принимаем решения.Платформа машинного обучения интегрирована с этим озером данных.
В рамках этой структуры, когда аналитик построил корреляции, обучил алгоритмы машинного обучения с использованием современных методов нейронных систем и ансамблевых моделей, он загружает модель на эту платформу.
Платформа, интегрированная с озером данных, позволяет разработчикам моделей быстро использовать данные озера и получать к ним доступ на основе ролей.
Сервисы, основанные на этих моделях, работают на платформе ML и ежедневно собирают свежие данные из озера.
Затем они производят необходимые расчеты и запускают прогноз, который затем бережно сохраняется во внутреннем хранилище ML-фреймворка.
Далее идет интерфейс, который позволяет нам брать с этой платформы фреймворк ML и все рассчитанные нами прогнозы, а затем визуально отображать их.
Все рассчитанные значения прогноза видны в интерфейсе.
Коллеги используют их при составлении плана производства и продаж, готовят прогноз котировок.
Также дополнительно выделяется большое количество факторов, которые не всегда напрямую входят в модель, но тем не менее могут так или иначе влиять на цены.
Это те самые неоцифрованные комментарии, о которых говорилось выше, — различные новости, на которые стоит обратить внимание.
Здесь для работы с естественным языком были использованы технологии НЛП (обработка естественных языков), которые позволяют анализировать большой поток новостей, комментариев и событий и выбирать из них только те, которые имеют отношение к данному продукту, данному продукту.
рынок.
А затем выделить их в интерфейсе нашей системы, чтобы пользователю не приходилось пролистывать всю ленту новостей — вместо этого мы сразу показываем ему новости и комментарии, наиболее актуальные для данного продукта, рынка и текущей ситуации на рынке.
Конечно, вы можете при желании скачать прогнозы из этой системы, либо интегрировать ее с другими информационными системами для дальнейшего анализа или передачи в оптимизатор управления цепями поставок.
Полученные результаты
Проект динамического прогнозирования цен в СИБУРе стартовал в 2019 году и сегодня охватывает все 39 ключевых товарно-рыночных сочетаний.Они соответствуют примерно 60 цифровым моделям – на одних и тех же товарных рынках может быть несколько котировок.
Инструмент стал особенно полезным в прошлом году во время пандемии, когда процесс планирования управления цепочками поставок стал еженедельным, а иногда и ежедневным процессом.
Важно было учитывать каждое изменение – снижение цен на углеводороды в Европе, рост спроса на полимеры, цены в Китае – и очень оперативно принимать решения.
Ежегодно динамическое ценообразование может принести нам эффект в 540+ миллионов рублей.
Теги: #Машинное обучение #Исследования и прогнозы в ИТ #нейронные сети #Визуализация данных #Промышленное программирование #аналитика данных #моделирование #прогнозирование #анализ рынка #Сибур #sibur digital #sibur digital #sibur digital #sibur digital #sibur digital #sibur digital #Сибур digital
-
Колумб, Кристофер
19 Oct, 24 -
Интернет Вещей Для Бизнес-Объектов (Часть 2)
19 Oct, 24 -
Девушка Продает Любовь За 5000 Золотых.
19 Oct, 24
