Mit Разработал Алгоритм, Который Удаляет Отражения В Окнах С Фотографий.

MIT разработал алгоритм, который удаляет отражения в окнах с фотографий.
</p><p>

Если подойти к окну и попытаться сфотографироваться через стекло, то избежать отражения собственной фигуры будет сложно.

Ненужный предмет будет тем заметнее, чем темнее пространство за окном.

Профессиональные фотографы решают эту проблему, размещая объектив камеры близко к стеклу и используя множество других приемов, например, поляризационные фильтры.

Но зачастую в вашем распоряжении только «глаз» смартфона, либо возможности съемки ограничены, и приходится мириться с наличием отражения.

Исследователи MIT нашли алгоритмическое решение этой проблемы.

Алгоритм будет представлен в июне на конференции Computer Vision and Pattern Recognition, но уже сейчас доступный некоторые компоненты.

В работе использован тот факт, что отражения повторяются несколько раз из-за структуры окон.

По этому принципу автоматическая очистка цифровых фотографий производится в самых разных случаях.

По словам первого автора работы Ичан Ши, в Бостоне для сохранения тепла в холодное время года часто используют стеклопакеты.

Поэтому вы обычно получаете два отражения от каждого стекла.

Но это не значит, что алгоритм будет работать только для двойных окон; одно толстое стекло тоже дает два отражения: одно изнутри, второе снаружи.

Без предоставления дополнительной информации о втором отражении задача удаления ненужных элементов практически невыполнима, поскольку результатом фотографии является сумма изображения за окном и отражения в стекле.

Если A+B=C, то восстановить A и B, используя только C, будет невозможно.

Второе отражение дает необходимую информацию для исправления картины.

Значения отдельных пикселей отражения должны примерно совпадать, и это облегчает поиск искомого решения, хотя их количество все равно остается большим.

Чтобы выбрать правильный, Ши и другие соавторы работы — профессора информатики и компьютерных наук Фредо Дюран и Билл Фриман (научные руководители работы) и Дилип Кришнан (доктор философии, сейчас работает в Google Research) — добавили алгоритм предполагает, что и отражение, и сфотографированный вид из окна имеют статистические закономерности, которые называются естественными изображениями.

Предполагается, что в неизмененных графических представлениях окружающего мира на уровне групп пикселей резкие изменения цвета случаются редко, а если и происходят, то в четких границах.

Если некоторые пиксели представляют собой границу между синим и красным объектом, то можно ожидать, что изображение будет синим с одной стороны и красным с другой.

В области компьютерного зрения это обычно реализуется с помощью принципа градиента, который характеризует каждый блок пикселей относительно общего направления изменения цвета и интенсивности этого процесса.

Но Ши и его коллеги обнаружили, что в данном случае этот метод работает не очень хорошо.

Поэтому Дэниел Зоран из группы Фримена и Яир Вайс из Еврейского университета в Иерусалиме создали алгоритм, который разбивает изображение на группы блоков пикселей 8x8. Для каждой группы был проведен анализ с использованием 50 тысяч обучающих изображений и на основе полученных данных получен надежный метод отличия отражений от изображений за окном.

Чтобы проверить работу, Ши и его коллеги поискали в Google и на сайте обмена фотографиями Flickr, задавая такие вопросы, как «проблемы с отражением окна на фотографии».

После исключения результатов, не являвшихся фотографиями из окон, было собрано 197 изображений.

Из них в 96 случаях сдвиг между двумя изображениями был достаточно большим, чтобы алгоритм работал.

Йоав Шехнер, профессор электротехники в Технионе в Израиле, говорит, что попытки удалить такие нежелательные элементы на фотографиях предпринимались и раньше, но некоторые методы использовали только одно отражение.

Задача была очень сложной, и успех был лишь частичным; не было автоматизированного способа отделить отражение от реконструированного изображения.

Работа Ши является прорывом по нескольким направлениям.

Шехнер считает, что если со временем алгоритм будет усовершенствован, его можно будет включить в обычные пакеты обработки цифровых фотографий и помочь алгоритмам компьютерного зрения в роботах.

Исследователи не сообщают о возможности извлечь изображение фотографа из отражения, но такое применение, скорее всего, возможно.

Последнее может заинтересовать правоохранительные органы и любителей шпионажа.

Алгоритм будет представлен в июне в Бостоне на конференции Computer Vision and Pattern Recognition. _{Изображений: Массачусетский Институт Технологий .}

Теги: #Машинное обучение #Популярная наука #Фотография #Алгоритмы #Обработка изображений #компьютерное зрение #MIT #MIT #MIT