Сегодня я хочу рассказать об интересном подходе к улучшению качества изображения.
Официальное название подхода — Super Разрешение.
Улучшение качества изображения с помощью программных методов известно с момента появления цифровых изображений, но в последние 3 года произошел качественный скачок, вызванный использованием нейронных сетей.
Пример улучшения качества изображения с помощью технологии Super Разрешение.
Существует четыре основных подхода к улучшению изображений: модели прогнозирования, методы, основанные на границах, статистические методы изображений и методы, основанные на патчах (или на основе примеров).
Наилучшее качество обеспечивается методами, основанными на исправлениях (или на основе примеров).
В статье [1] впервые было предложено перейти от традиционного подхода с использованием набора фильтров к единой сверточной нейронной сети, работающей по сквозному принципу.
Подход сверточной нейронной сети объединил в себе функции: 1) Получение и отображение патчей.
2) Нелинейное отображение.
3) Реконструкции.
Визуализация принципа работы нейронной сети и связь с методом разреженного кодирования [1]
Подход сверточной нейронной сети улучшил качество по сравнению с известными методами, сохранив при этом высокую скорость отклика.
Качество и время отклика в зависимости от количества фильтров.
По мнению авторов исследования, сетевая архитектура влияла на качество больше, чем размер обучающей выборки.
Продолжением исследований в области улучшения качества изображения является работа [2], в которой рассматриваются более глубокие архитектуры, с помощью которых можно было восстановить «испорченное изображение».
Слева «поврежденное изображение», в центре восстановленное изображение, справа оригинал.
В [3] проблема улучшения изображения решена с помощью GAN. 
Визуализация принципа работы GAN в задаче повышения качества изображения [3]
Использование GAN позволило улучшить качество текстур и сделало обработанные изображения настолько фотореалистичными, что их визуально сложно отличить от оригинала.
Сравнение изображения, восстановленного с помощью GAN, и оригинала.
Технология Super Разрешение уже используется при обработке изображений и видео.
Так, компания «Яндекс» улучшила качество старых советских фильмов на «Кинопоиске», а компания «Робин Видео» использует «СуперРазрешение» для улучшения качества изображения в облачном видеонаблюдении, чтобы клиенты использовали более простые и дешевые камеры, сохраняя при этом качество картинки.
В следующих статьях я постараюсь подробно рассказать о технической реализации подхода Super Разрешение.
Ссылки на статьи [1] arxiv.org/pdf/1501.00092v3.pdf Суперразрешение изображений с использованием глубоких сверточных сетей [2] arxiv.org/pdf/1606.08921.pdf Восстановление изображения с использованием сверточных автокодировщиков с симметричными соединениями пропуска [3] arxiv.org/pdf/1609.04802.pdf Фотореалистичное суперразрешение одного изображения с использованием генеративно-состязательной сети Теги: #сверхразрешение #Машинное обучение #GaN #сверточные нейронные сети #Обработка изображений #Алгоритмы #Обработка изображений #Машинное обучение #Читальный зал
-
Ремонт Жесткого Диска
19 Oct, 24 -
Программное Обеспечение Ипотечного Брокера
19 Oct, 24 -
Домашние Курсы Mcsa Раскрыты
19 Oct, 24 -
Mail.ru Агент 4.10 Избавит Вас От Спама
19 Oct, 24 -
Реализация Свойств В C++
19 Oct, 24
