Генеративно-состязательные сети (GAN) — это класс глубоких генеративных моделей с интересными возможностями.
Их основная идея — обучить две нейронные сети: генератор, который учится синтезировать данные (например, изображения), и дискриминатор, который учится отличать реальные данные от синтезированных генератором.
Этот подход успешно использовался для высококачественный синтез изображений , улучшения сжатия изображений , и другие вещи.
«Эволюция сгенерированных образцов во время обучения в ImageNet. Генератор ограничен классом изображения (например, «большая серая сова» или «золотистый ретривер»).
В области естественного синтеза изображений достигаются наилучшие результаты условный ГСС , которые, в отличие от безусловных, используют во время обучения метки («машина», «собака» и т. д.).
Хотя это облегчает задачу и обеспечивает существенное улучшение результата, такой подход требует большого количества размеченных данных, что на практике встречается редко.
В нашем работа «Создание высококачественных изображений с меньшим количеством меток» — мы предлагаем новый подход, позволяющий уменьшить объем размеченных данных, необходимых для обучения расширенных условных GSN. Объединив этот подход с недавними достижениями в разработке крупномасштабных GSS, мы создаем естественные изображения сопоставимого качества, используя в 10 раз меньше этикеток.
Также мы выпускаем большое обновление Сравнить библиотеки GAN на основе данного исследования, которое содержит все необходимые компоненты для обучения и оценки современных ГСС.
Улучшения за счет полуконтроля и самоконтроля
В условных GSN генератор и дискриминатор обычно ограничиваются метками классов.В нашей работе мы предлагаем заменить расставленные вручную метки на выведенные.
Чтобы получить качественные метки для большого набора в основном немаркированных данных, мы используем двухэтапный подход. Сначала мы научимся представлять функции изображения, используя в качестве примера только непомеченную часть базы данных.
Чтобы изучить представления объектов, мы используем самоконтроль в форме недавно предложенный подход , в котором немаркированные данные перемешиваются случайным образом, а глубокая сверточная нейронная сеть прогнозирует угол поворота.
Идея состоит в том, что модели должны уметь распознавать основные объекты и их формы, чтобы успешно выполнить эту задачу: 
Затем мы рассматриваем последовательность активации одного из промежуточных слоев обученной сети как новое представление признаков входных данных и обучаем классификатор распознавать метку этих входных данных, используя помеченную часть исходного набора данных.
Поскольку сеть была предварительно обучена извлекать семантически значимые признаки из данных (в задаче прогнозирования вращения), обучение этого классификатора на примерах более эффективно, чем обучение всей сети с нуля.
Наконец, мы используем этот классификатор для маркировки немаркированных данных.
Чтобы еще больше улучшить качество модели и стабильность обучения, мы призываем сеть дискриминаторов изучать значимые представления признаков, которые не забываются во время обучения из-за введенных нами вспомогательных потерь.
ранее .
Эти два преимущества вместе с масштабным обучением приводят к появлению продвинутых условных GNN, которые хорошо подходят для синтеза изображений из ImageNet, судя по Расстояние Фреше .
Сеть генераторов создает изображение на основе собственного вектора.
В каждой строке линейная интерполяция собственных кодов крайнего левого и крайнего правого изображений приводит к семантической интерполяции в пространстве изображений.
Сравните библиотеку GAN для обучения и оценки GAN.
Передовые исследования в области GSS во многом зависят от хорошо разработанного и проверенного кода, поскольку даже воспроизведение предыдущих результатов и методик требует больших усилий.Чтобы поддержать открытую науку и позволить исследовательскому сообществу использовать последние достижения, мы выпускаем крупное обновление библиотеки Compare GAN. Он включает в себя функции потерь, схемы регуляризации и нормализации, архитектуры нейронных сетей и числовые метрики, часто используемые в современных GSN. Он также уже поддерживает:
- Обучение на ГПУ и ТПУ.
- Простая настройка с помощью Джин ( Примеры ).
- Огромное количество наборов данных в библиотеке ТензорФлоу .
Заключение и планы на будущее
Учитывая разрыв между маркированными и нетегированными источниками данных, все более важным становится способным учиться на лишь частично размеченных данных.Мы показали, что простая, но мощная комбинация самоконтроля и полуконтроля может помочь закрыть этот пробел для GSS. Мы считаем, что самоконтроль — многообещающая идея, которую следует изучить в других областях генеративного моделирования.
Теги: #Машинное обучение #Google #искусственный интеллект #нейронные сети #GaN #Генераторно-состязательные сети
-
Обзор Новой Серии P От Sony На Выставке Ces
19 Oct, 24 -
Динамическая Электронная Почта
19 Oct, 24 -
3Dmark Vantage: Новый Общий Рекорд
19 Oct, 24 -
Tunerr - Онлайн Тюнер Хроматической Гитары
19 Oct, 24
