Палитра позволяет художникам располагать и смешивать разные цвета красок для создания картин на холстах перед ними.
Существование аналогичного инструмента, который мог бы позволить ИИ совместно учиться на основе различных источников данных, таких как разговоры, истории, изображения и знания, могло бы открыть исследователям и ученым возможность разработать более комплексные системы ИИ.
Палитра позволяет художнику растушевывать и смешивать краски разных цветов.
SpaceFusion стремится помочь ученым в области ИИ делать аналогичные вещи для разных моделей, обученных на разных наборах данных.
В современных моделях глубокого обучения наборы данных обычно представляются векторами в разных скрытых пространствах с использованием разных нейронных сетей.
В статье " Совместная оптимизация разнообразия и актуальности при генерации нейронных ответов «Я и мои соавторы представляем SpaceFusion, парадигму обучения, способную «смешивать» различные скрытые пространства — как краски на палитре — так, чтобы ИИ мог использовать шаблоны и знания, заложенные в каждом из них.
Доступна реализация этой работы в GitHub .
Уловить цвет человеческого разговора
В качестве первой попытки мы применили эту технику к нейронному диалоговому ИИ.В нашей настройке ожидается, что нейронная модель будет генерировать релевантные и интересные ответы с учетом истории или контекста разговора.
Несмотря на многообещающие достижения в моделях нейронной коммуникации, эти модели, как правило, небезопасны, выдавая общие и скучные ответы.
Были разработаны подходы, позволяющие разнообразить эти ответы и лучше отразить окраску человеческого разговора, но это все еще распространено.
существует компромисс с пониженной релевантностью.
.
Рисунок 1. Подобно палитре, которая позволяет легко комбинировать краски, SpaceFusion выравнивает или смешивает скрытые пространства, полученные из модели seq2seq (S2S, красные точки) и автоэнкодера (AE, синие точки), чтобы более эффективно использовать две модели вместе.
SpaceFusion решает эту проблему, связывая скрытые пространства, извлеченные из двух моделей (рис.
1):
- модель «последовательность-последовательность» (S2S), целью которой является получение релевантных ответов, но может иметь небольшие вариации; и
- модель автокодировщика (AE), которая способна представлять различные ответы, но не отражает их отношение к разговору.
Рисунок 2. Выше показан один контекст и его многочисленные скрытые пространственные реакции, вызванные SpaceFusion. Расстояние и направление от прогнозируемого вектора ответа с учетом контекста примерно соответствуют значимости и разнообразию соответственно.
Например, как показано на рисунке 2, учитывая контекст — в данном случае «Кто-нибудь хочет начать эту игруЭ» — положительные ответы «Хотелось бы поиграть» и «Да, играю» расположены в одном направлении.
Негативные — «Мне не интересна игра» и «Нет, мне не интересна» — отображаются в другом направлении.
Разнообразие ответов достигается за счет исследования скрытого пространства в разных направлениях.
Кроме того, релевантности соответствует расстояние в скрытом пространстве.
Ответы, которые находятся дальше от контекста — «Да, я играю» и «Нет, я не играю» — обычно носят общий характер, а те, что ближе, более контекстно-специфичны: «Мне не интересно играть».
и «Когда ты собираешься игратьЭ» SpaceFusion разделяет критерии релевантности и разнообразия и представляет их в двух независимых измерениях — направлении и расстоянии, что способствует совместной оптимизации обоих.
Наши эмпирические эксперименты и человеческие оценки показали, что SpaceFusion работает лучше по этим двум критериям по сравнению с базовыми показателями конкурентов.
Совместное обучение в скрытом пространстве
Так как же SpaceFusion отображает различные скрытые пространства? Идея вполне интуитивна: для каждой пары точек из двух разных скрытых пространств мы сначала минимизируем их расстояние в общем скрытом пространстве, а затем поддерживаем плавный переход между ними.Это достигается путем добавления к целевой функции двух новых членов регуляризации — члена расстояния и члена гладкости.
Если взять разговор в качестве примера, термин расстояния измеряет евклидово расстояние между точкой в скрытом пространстве S2S, которая отображается из контекста и представляет прогнозируемый ответ, и точками в скрытом пространстве AE, которые соответствуют его целевым ответам.
Минимизация такого расстояния побуждает модель S2S отображать контекст как точку, близкую к ее ответам и окруженную ее ответами в общем скрытом пространстве, как показано на рисунке 2. Термин гладкости измеряет вероятность генерации целевого ответа в результате случайной интерполяции между точкой, отображенной из контекста, и точкой, отображенной из ответа.
Максимизируя эту вероятность, мы поощряем плавный переход значения генерируемых ответов по мере удаления от контекста.
Это позволяет нам исследовать окрестности точки прогнозирования, сделанной S2S, и, таким образом, генерировать различные ответы, соответствующие контексту.
Добавляя эти две новые регуляризации к целевой функции, мы налагаем ограничения на расстояние и плоскостность для обучения скрытому пространству, поэтому обучение будет не только сосредоточено на производительности в каждом скрытом пространстве, но также будет предпринята попытка выровнять их вместе, добавляя нужные структуры.
.
Наша работа сосредоточена на диалоговых моделях, но мы ожидаем, что SpaceFusion сможет выравнивать скрытые пространства, обученные другими моделями, на разных наборах данных.
Это объединит различные способности и области знаний, изученные каждой конкретной системой ИИ, и станет первым шагом на пути к более инклюзивному ИИ.
Читайте также: 7 бесплатных курсов для разработчиковТеги: #Машинное обучение #microsoft #Алгоритмы #искусственный интеллект #ИИ #разговорный ИИ #SpaceFusion
-
Ces2015: Обновление Линейки Lenovo Thinkpad
19 Oct, 24 -
Смертельная Битва Против Вселенной Dc
19 Oct, 24 -
Будущее Webassembly Как «Дерева Навыков»
19 Oct, 24
