Мы уже рассказывали вам, как работает Яндекс.
Погода сверхкраткосрочный прогноз осадков на метеорологических радарах и спутниковые наблюдения .
Сегодня мы расскажем, как нам удалось улучшить качество такого прогноза за счет внедрения нейросетевых подходов и почему мы уже отказались от них в прошлом.
Также вы узнаете, как мы улучшили визуальное восприятие самой карты на границе радиолокационных и спутниковых наблюдений.
И снова о прогнозировании текущей погоды
Когда мы говорим о прогнозе погоды, мы чаще всего имеем в виду температуру и осадки, например, на завтра или ближайшие выходные.В этом случае достаточно традиционных погодных тенденций.
Но если вы выходите на улицу пообедать или прогуляться с ребенком и не хотите попасть под дождь, то важно знать точный момент начала дождя в течение следующих получаса.
В таких ситуациях на помощь приходит наша карта осадков, известная как прогноз погоды.
Рисунок 1. Карта осадков Яндекс.
Погода прогноз текущей погоды — сверхкраткосрочный прогноз погоды (до 2–6 часов) с шагом 5–15 минут, предсказывающий поведение погодных явлений с коротким жизненным циклом.
Такой прогноз в той или иной степени сводится к задаче экстраполяции наблюдаемых метеорологических явлений, поскольку реальные тяжелые физические модели для него менее пригодны и не могут оперативно учитывать быстро меняющиеся условия.
Поскольку мы говорим о карте осадков, нас интересует источник данных об областях скопления влаги в воздухе, имеющий относительно высокую частоту обновления.
Лучшими вариантами для этого являются метеорадиолокаторы, предоставляющие такую информацию непосредственно в виде изображений, и геостационарные спутники, изображения с которых необходимо предварительно обрабатывать.
Как решить
Если предположить, что прогноз текущей погоды сводится к задаче экстраполяции (рис.
2), то формальное определение будет выглядеть так: 
Где 
— кадр с метеорологического радара и/или спутника, 
— количество кадров, на основе которых делается прогноз, 
— количество прогнозируемых кадров.
В этом случае можно интерпретировать кадр как обычную картинку и свести задачу к работе с видеоизображением.
Рисунок 2. Пример изображений метеорологического радара.
Вверху: пример входных фреймов для модели.
Внизу: ожидаемое количество кадров во время прогнозирования.
Здесь 
, А 
Мы прогнозируем на два часа вперед с шагом в 10 минут. Это 12 кадров плюс еще несколько в запасе на случай перебоев в подаче данных с РЛС.
Чаще всего решение такой задачи сводится либо к использованию алгоритмов оптических потоков ( 1 , 2 , 3 ), или методам нейронной сети ( 1 , 2 , 3 , 4 , 5 , 6 ).
Долгое время в продакшене у нас был алгоритм на основе оптического потока, который мы смогли настроить так, что он превосходил нашу предыдущую архитектуру нейросети по метрикам.
Далее мы поговорим о том, как мы наконец-то обошли оптический поток и сделали более качественный прогноз с помощью нейронных сетей.
Сетевая архитектура
За основу мы взяли архитектуру PredRNN++.; ICML '18] .
Основное нововведение статьи - модификация классического Ячейки ConvLSTM .
Авторы добавили вход для пространственной памяти (обозначение 
в статье) и расширил выходной вентиль, чтобы научиться его учитывать (рис.
3).
Утверждается, что это помогает лучше запоминать пространственные изменения последовательности кадров видеоряда.
Рисунок 3. Причинная архитектура рекуррентных ячеек LSTM. Отличие от ConvLSTM выделено красным.
( Источник ) При решении задачи мы перешли от обычной регрессии интенсивности осадков в мм/ч для отдельного пикселя к прогнозированию областей осадков и их типа (легкие, сильные или очень сильные), что эквивалентно задаче сегментации изображения.
на три класса.
Только для изображений из будущего, которого мы еще не знаем.
В качестве функции потерь использовалась классическая сумма перекрестной энтропии и игральных костей: 
Где 
является примером из обучающего набора, и 
— прогнозируемая стоимость.
Результаты
При сравнении новой модели с предыдущей мы рассматривали как стандартные метрики для задач сегментации и классификации (F1, IoU), так и специально построенные метрики, отражающие восприятие прогноза пользователем (например, долю идеальных прогнозов).Это помогло, среди прочего, улучшить то, что наши пользователи видят в прогнозе и как они получают из него информацию.
Ниже представлена таблица изменений по сравнению с решением с оптическим потоком:
| Метрики | Изменять, % |
|---|---|
| F1, в среднем за 2 часа | +7,6 |
| ЙоУ, во-первых.
шаг |
+3,5 |
| IoU, второй шаг | +6,1 |
| Процент идеальных прогнозов | +2,2 |
| Доля точно предсказанных дождей | +6,0 |
Доля правильно спрогнозированных наступлений дождя представляет собой отношение количества правильно спрогнозированных первых дождей в данном двухчасовом окне ко всем случаям начала первого дождя в двухчасовых окнах.
А доля идеальных прогнозов показывает, какая часть двухчасовых последовательностей предсказана без ошибки на любом этапе.
Таким образом, эти метрики позволяют нам оценить пользовательский опыт использования прогнозирования текущей погоды.
Также посмотрим на зависимость метрик от диапазона прогноза: 
Рисунок 4. График зависимости средней IoU от прогнозируемого расстояния между кадрами с течением времени
Для расчета оптического потока мы использовали Плотный обратный поиск с постоянным вектором переноса (на графике показан лучший из полученных вариантов), показавший лучшие результаты среди других алгоритмов оптического потока для задачи прогнозирования текущей погоды как в наших экспериментах, так и в эксперименты коллеги.
Эксперименты с PredRNN++ отличаются использованием медианного фильтра на входных данных (поскольку радары иногда зашумлены) и метрикой, по которой выбирался порог бинаризации (F1 или F1.5).
На графике видно, что оптический поток лучше нейронных сетей только в первые десять минут. Затем его прогнозы начинают сильно ухудшаться, и на втором часу он проигрывает всем вариантам.
Кроме того, возвращение нейросетевой архитектуры позволяет еще больше повысить качество прогнозов осадков, поскольку позволяет дополнительно учитывать особенности, которые потенциально помогают прогнозировать внезапное появление или исчезновение зон осадков, в то время как подход, основанный на оптический поток позволяет им перемещаться только вдоль вектора переноса.
Объединение радиолокационных и спутниковых изображений
В последний раз Мы описали, как мы расширили нашу зону прогнозирования текущей погоды за пределы станций метеорологических радиолокаторов с помощью спутниковых изображений.Напомним, что мы использовали нейронные сети для восстановления радиолокационных полей по спутниковым изображениям.
В данном случае наша модель была близка по качеству к самим радарам, но поскольку спутники и радары на самом деле различаются по способу измерения осадков, области дождя между ними могут не полностью совпадать.
Поэтому нам часто справедливо указывали на резкие границы между зонами радиолокации и спутниковой науки.
Мы использовали нейронные сети и для решения этой задачи — для точного перехода из одной зоны в другую, чтобы карта осадков выглядела более реалистично, а границы были менее заметны для пользователей.
Прежде чем прогнозы можно будет отображать на одной карте, необходимо согласовать изображения с метеорологических радаров и геостационарных спутников.
Это необходимо для того, чтобы избежать границ зоны действия радара и резких изменений зон осадков на границах радиолокационной и спутниковой связи.
Наша идея состоит в том, что мы делаем умную нейронную сеть, склеивающую стыки изображений.
Мы взяли нейросетевой инпейнтинг из NVIDIA , основанный на Unet-подобной архитектуре.
Рисунок 5. Пример алгоритма из оригинальной статьи «Рисование изображений неправильных отверстий с использованием частичных сверток»
Наглядный пример работы алгоритма, дополняющего недостающие части, можно увидеть на рисунке выше, а также на это видео .
Только вместо завершения изображения на заштрихованной области мы создаем маску на границе радар-спутник, где мы пытаемся восстановить переход осадков между соседними зонами.
Решение этой проблемы состоит из двух этапов:
- Производится альфа-смешение радиолокационных и спутниковых изображений – получается постепенный переход от спутника к радиолокационному.
- Переход перерисовывается с помощью inpainting, при этом ближе к центру перехода меш получает все меньше данных от входного изображения.
Рисунок 6. Сравнение карты осадков без склейки нейросети (слева) и с ней (справа) В результате такой подход позволяет получить единое изображение прогнозов по всей области прогнозирования текущей погоды без резких границ полукруга.
Заключение
Конечно, идеальная точность недостижима.Человечество все еще учится понимать и предсказывать погоду.
И описанные в посте улучшения не являются потолком для нейросетевых подходов.
Мы продолжаем экспериментировать с другими архитектурами и дополнительными данными, чтобы сделать наш прогноз более надежным.
Будем рады, если описанный опыт поможет и вам.
Теги: #Машинное обучение #математика #Исследования и прогнозы в ИТ #нейронные сети #Геоинформационные сервисы #прогнозирование #прогноз погоды #Яндекс.
погода #Яндекс.
погода #команда Яндекс.
погоды #погода #осадки #радиолокационные системы #научное прогнозирование
-
Открытие Неизвестных Типов Файлов В Windows
19 Oct, 24 -
Бисбрук, Джордж Ван
19 Oct, 24 -
Тенденции Кибербезопасности От Bi.zone
19 Oct, 24 -
Google Высмеивает Веб-Сервисы Microsoft
19 Oct, 24 -
Действительно Ли Социальная Среда — Чушь?
19 Oct, 24
