Глубокое Обучение Определению Стиля И Жанра Картин

Привет, Хабр! Сегодня я хочу рассказать о второй части проекта сервиса по идентификации и классификации произведений искусства.

Напомню, мы решили две основные задачи:

1. поиск картины в базе данных по фотографии, сделанной на мобильный телефон;
2. определение стиля и жанра картины, которой нет в базе данных.

Можем ли мы помочь Даше разобраться в современном искусстве?

Определение стиля картины

Кажется, есть даже классы, содержащие единицы изображения.

Видимо, некоторые авторы считают необходимым создать имя для собственного стиля.

Всего в базе было выявлено около 75 стилей, но для нашей работы заказчик выбрал 27 обязательных стилей (к которым впоследствии добавился еще один), которые система должна распознать.

Распределение наполнения по ним оказалось весьма неравномерным.

Это означает, что мы будем использовать глубокое машинное обучение, при котором такие сложные функции выявляются автоматически в процессе обучения.

Трансферное обучение Рассмотрим начальную сеть v3.



В ее архитектуре (как и в любой другой глубокой сети) можно грубо выделить два основных компонента — Feature Extractor и Predictor. Feature Extractor отображает входное цветное изображение в многомерное пространство признаков (многоканальная карта признаков).

Карта признаков сохраняет пространственную информацию — то есть представляет собой трехмерный тензор с размерами по ширине, высоте и количеству каналов признаков; Здесь еще не применялось окончательное объединение, что полностью исключит информацию об относительном положении объектов на исходном изображении.

Feature Extractor сети Inception v3 получает на вход изображение размером 299.



299



3, а на выходе генерирует карту признаков размером 17



17



2048 Размер входных данных можно варьировать, что приведет к изменению размера карты объектов и может быть полезно для снижения вычислительных затрат при работе с сетью.

Predictor — это сеть, которая генерирует выходные данные на основе карты объектов, созданной Feature Extractor. Обычно для задачи классификации Предиктор представляет собой полносвязный слой нейронов, количество выходов которого совпадает с количеством классов задачи.

Классическое трансферное обучение предполагает, что мы берем обученную сеть, отделяем от нее Feature Extractor и дополняем новым предиктором с нужным нам количеством классов.

Полученная сеть обучается на низкой скорости, при этом веса слоев Feature Extractor частично или полностью замораживаются.

Давайте воспользуемся трансферным обучением для классификации стилей.

Давайте возьмем сеть Inception-v3, обученную на наборе данных imagenet, и заменим ее выходным слоем нейронов, который классифицирует входные изображения по количеству выбранных стилей.

Полученную сеть мы обучили на изображениях разных стилей, заморозив обучение всех слоев, кроме последнего.

Для анализа данных мы построили график распределения набора проверки по классам.

Каждая строка соответствует классу из набора проверки.

Яркость квадратов в ряду пропорциональна количеству картинок, попадающих в класс, соответствующий столбцу.

Для большей наглядности исключим главную диагональ и заново нормализуем значения каждой линии.

Кроме того, мы попробуем отобразить распределение стилей в двухмерном пространстве с помощью TSNE.



Видно, что наблюдается множество ошибок, например, при классификации картин в стиле фовизм – значительная их часть отнесена к экспрессионизму.

Северное возрождение и готику часто называют возрождением.

Многие изображения стиля рококо и классицизма относятся к реализму.

Модернизм и модерн обычно делятся на множество стилей.

Написав простой скрипт, который сортировал обучающую базу данных по папкам в соответствии со стилем, заданным сетью, мы провели быстрый анализ ошибок.

Оказалось, что разметка базы данных как минимум вызывает вопросы.

Многие изображения в стиле модерн (который хоть и был отмечен заказчиком как обязательный, но на самом деле не является стилем, а скорее направлением в искусстве вообще) фактически дублировались в других стилях, особенно в модернизме (но это уже стиль).

Стиль соцреализма включал в себя абстрактные изображения, например, произведения Лисицкого.

Судя по всему, они попали туда благодаря работе Лисицкого над советскими плакатами, имеющими весьма косвенное отношение к соцреализму.

Во многом это действительно ошибки, но иногда причиной является спорный вопрос выявления тех или иных, особенно современных стилей.

Стоит учитывать, что база данных заполнена разными пользователями, и иногда среди них нет единого мнения.

Ошибки в данных приводят к соответствующим ошибкам в классификации изображений сетью.

В процессе чистки базы данных, как нами, так и арт-экспертом со стороны заказчика, разметка обучающей выборки была значительно улучшена.

Однако основная масса ошибок классификации сети (по общему количеству) относится к более или менее устоявшимся стилям, таким как рококо, классицизм и реализм.

Отнесение произведений к этим стилям обычно основано на эпохе или авторстве и, похоже, не вызывает сомнений или споров.

Почему сеть не может различить их стиль? Основная причина заключается в использовании предварительно обученной сети для извлечения признаков.

Дело в том, что эта сеть была обучена классифицировать объекты, определять, что именно изображено, отбрасывая при этом нерелевантную для задачи информацию о том, как это изображено.

Например, с точки зрения сети все изображения в начале статьи, как правило, изображают человека.

Чтобы решить эту проблему, мы сделали сеть с промежуточными выходами — считается, что по мере продвижения по сети признаки становятся все более сложными, а неважная информация постепенно исчезает. Попробуем извлечь из промежуточных слоев то, что было неважно для классификации imagenet.



Есть еще одна проблема – графика, гравюры, эскизы.

В imagenet, на котором была предварительно обучена начальная сеть, ничего подобного просто нет, и соответственно извлекаемые сетью признаки не подходят для классификации таких изображений.

Реализм, Импрессионизм. Камилла Каро, Агарь и ангел	Барокко Рембрандт Харменс ван Рейн, Агарь и ангел

Хотя изначально их не было в нашем обязательном списке, мы добавили их туда.

Поработав с данными, нам удалось добиться лучшего распределения по классам.

Понимание жанров

Мы пришли к выводу, что разделение этих жанров вряд ли будет проведено с достаточной точностью без серьезного культурологического анализа.

Например, для аллегорической сцены по определению предполагается наличие в изображении скрытого смысла, использование переносного смысла в изображенных предметах.

С «религиозной сценой» тоже есть сложность: весьма вероятно, что сеть, обученная производить такой класс, тоже будет называть его карикатурами (например, пародируя «Тайную вечерю» Да Винчи), и это может кого-то обидеть.

Маркировка данных по жанрам на первый взгляд кажется хорошей, за исключением нескольких жанров, для которых в базе данных мало изображений.

Поискав в Интернете, нам удалось немного расширить количество изображений по жанрам (в основном батальная сцена, цакли и ведата).

Объединив сложные жанры в общую «жанровую сцену», мы сразу попытались обучить сеть «в лоб», используя начальные сети трансферного обучения.

Видно, что точки, соответствующие изображениям разных жанров, перемешаны.

Для этих изображений сеть выдает высокие вероятности принадлежности сразу к нескольким жанрам, причем жанр с наибольшей вероятностью определяется практически случайным образом.

Причина, видимо, в том, что жанры, в отличие от стилей, имеют более выраженную иерархию.

Мы попытались понять эти связи и пришли к следующей карте жанров:



Дочерние и родительские жанры иерархии часто имеют общие черты с точки зрения сети (да и с нашей точки зрения тоже).

Например, батальная сцена на суше в целом имеет те же характеристики, что и обычный пейзаж, — изображение большой открытой местности или города, тогда как батальная сцена на море больше похожа на жанр пристани.

Поэтому мы разделили жанр батальной сцены на два — на суше и на море.

Другой пример: портреты, жанровые сцены и изображения обнаженной натуры с точки зрения предварительно обученной сети имеют общую особенность — наличие людей.

В базе картинки схожего содержания часто относятся либо к дочернему, либо к родительскому жанру, в зависимости от того, где это было определено экспертом, внесшим картинки в базу данных.

В связи с этим была проведена масштабная чистка и переразметка базы данных с учетом возможной иерархии жанров, что потребовало довольно больших усилий (автоматизировать удалось, но не сильно).

Чтобы перенести иерархию жанров в сеть, мы отказались от представления one-hot и установили его для изображений не только в одном жанре, но и в его родительском, если таковой имеется, а также заменили целевую функцию процесса обучения и функция активации выходного слоя.

Таким образом, задачей стала мультилейблная классификация (входное изображение может принадлежать нескольким классам).

Нам кажется, что здесь не хватает еще одного жанра – абстракции.

Строго говоря, это не совсем жанр.

По крайней мере, эксперты настаивали на том, что такого жанра не существует. Чтобы сеть не давала случайных ответов на абстрактные изображения, в общую разбивку жанров, включая абстрактные и противоречивые изображения, был добавлен еще один жанр под названием «невозможно определить».

Вместо заключения

К сожалению, классификация стилей и техник не завершена – в сервисе не реализована поддержка.

Теги: #Машинное обучение #Обработка изображений #глубокое обучение #компьютерное зрение #искусство

• Получайте Оплату За Участие В Опросах: 4 Совета, Как Избежать Мошенничества

  19 Oct, 24

• Вопросы Практического Экзамена Ccna Security, Ccnp И Cisco Ccna: Dhcp, Ospf, Блокировка Маршрутизатора И Многое Другое!

  19 Oct, 24

• Просто Сделайте Резервную Копию Btrfs

  19 Oct, 24

• Python-Celery В Windows С Управлением Docker

  19 Oct, 24

• В Европе Можно Будет И Дальше Делать Селфи Возле Памятников Архитектуры Без Оглядки На Авторские Права

  19 Oct, 24

• Выход Из Зоны Комфорта Как Новая Бизнес-Модель

  19 Oct, 24

• Программирование И Написание

  19 Oct, 24

• Седьмая Ежегодная Исследовательская Летняя Школа Microsoft По Машинному Обучению И Интеллекту — Сотрудничество С Acm Europe

  19 Oct, 24

• Атака Рекламных Виджетов

  19 Oct, 24

• От Студентов К Преподавателям: Интервью С Выпускниками Магистерской Программы Jetbrains+Итмо. Первая Часть

  19 Oct, 24