Диалоговые системы уже давно прочно вошли в нашу жизнь.
В названии упоминается, а на картинке изображена ЭЛИЗА, диалоговая система-психоаналитик (сейчас бы ее назвали чат-ботом), родом из 60-х.
Если вас интересует, как человек пришел к общению с ботами-психоаналитиками и что еще интересного в диалоговых системах, добро пожаловать под кат. 
Фактически, сейчас диалоговые системы можно найти где угодно: если вы звоните в банк, вы общаетесь (по крайней мере, на начальном этапе) с диалоговой системой, когда вы делаете заказ или пытаетесь проложить маршрут в навигаторе — возможно, вы тоже используете Apple Siri или Microsoft Cortana, и это тоже они.
Чем привлекательны диалоговые интерфейсы? Потому что это естественный способ получения информации для людей.
(Собственно, именно поэтому робот, с которым вы разговариваете, когда куда-то звоните, называется «автоинформатором».
)
Классификация
Диалоговые системы можно охарактеризовать по следующим критериям: General — Task-Oriented (общего назначения — Task-ориентированность) и Open Domain — Closed Domain (умение говорить на любую тему или только на строго определенную).В каждой из пар первый компонент существенно сложнее второго.
Давайте посмотрим на несколько примеров: 
Начнем с самого простого – автоинформаторы абсолютно целенаправленные и закрытые.
Вышеупомянутая ЭЛИЗА представляет собой закрытую область (она может говорить только на темы психоанализа), но в то же время она общая - у нее нет четко определенной задачи, с ней можно «поболтать».
Еще один пример бота, с которым вы можете общаться, — CharRNN Андрея Карпати.
CharRNN сама по себе представляет собой просто модель нейронной сети, которая может продолжать заданную ей строку; если вы натренируете его, например, на субтитрах к фильмам и сериалам, то он научится «отвечать» на ваши реплики.
В этом смысле он общий — у него нет четко определенной цели — и открытый домен — потенциально он может говорить на любую тему.
Проблема лишь в том, что эта модель чрезвычайно проста, она просто продолжает заданную ей линию, не имея при этом никакого понятия о диалоге, фразах или даже отдельных словах.
Осталось два примера: ConvAI — это наш конкурент, о котором написано ниже, и настоящий ИИ.
Почему я специально подчеркнул, что ИИ здесь «настоящий»? Потому что сейчас модно всё называть ИИ, даже автоинформаторы.
Я хотел подчеркнуть, что это полноценный искусственный интеллект, способный говорить на любые темы.
И — самое главное — он умеет вести беседу, то есть имеет представление о диалоге.
КонвАИ
Теперь пришло время поговорить о нашем конкурсе, чем он отличается от приведенного выше и почему мы решили его провести.ConvAI — Conversational Intelligence Challenge, соревнование по разговорному искусственному интеллекту.
А поскольку это соревнование, участников нужно как-то сравнивать.
И тут оказывается, что стандартные метрики сравнения текстов, известные из машинного перевода BLEU, ROUGE и т. д. здесь не работают. 
Оказывается, известные нам машинные метрики не коррелируют с человеческими суждениями (в то время как человеческие оценки прекрасно коррелируют друг с другом — верхняя правая картинка).
Источник [1].
Из этого следует, что сравнивать системы общего назначения друг с другом пока невозможно — мы просто не умеем это делать.
Но мы определенно можем сравнивать ориентированные на задачи системы, используя простейший показатель «Коэффициент выполнения задач» (TCR).
То есть мы можем сравнить их по количеству диалогов, достигших цели.
Целью нашего конкурса мы выбрали обсуждение небольшого фрагмента текста, например, короткой новостной статьи или отрывка из Википедии.
Человек, поговорив представленный текст с другим человеком/ботом, ставит свою оценку.
При этом мы не предоставляем пользователю информацию о «естественности» или «искусственности» интеллекта собеседника.
На основе собранных оценок мы сможем ранжировать ботов наших участников таким образом, чтобы выстроить цепочку от простейшего CharRNN до человека.
(По крайней мере, мы на это надеемся.
) 
Стоит также отметить, что наше соревнование прошло строгий отбор и было выбрано в качестве живого конкурса NIPS в этом году.
А также, что соорганизаторами конкурса являются не нуждающийся в представлении Йошуа Бенджио, а также Александр Рудницкий и Алан У.
Блэк из Университета Карнеги-Меллона.
Всю информацию о конкурсе, включая правила, API нашего сервера и многое другое, можно найти на его сайте.
Наборы данных
Отдельно стоит упомянуть доступные наборы данных для исследований в области разговорного интеллекта.Существует несколько общедоступных наборов данных для диалоговых систем [2].
Прежде всего, стоит выделить Задача отслеживания состояния диалога , в этом году, кстати, он пройдет уже в шестой раз.
Он предназначен для систем, способных вести диалог, отслеживая его состояние, то есть, пожалуй, наиболее близок к цели нашего конкурса.
Но у этого датасета есть важная особенность — это закрытый домен, то есть он рассматривает исключительно одну конкретную тему.
Не существует открытого домена и общедоступного набора данных, ориентированного на задачи, и мы ожидаем, что после нашего конкурса будет создан новый набор данных, состоящий из разговоров между волонтерами и членами команды с ботами, который будет доступен всем исследователям.
Заключение
Надеемся, что у вас сложилось некоторое представление о диалоговых системах.Более того, если вы захотите попробовать свои силы в их создании, то мы будем рады видеть вас в качестве участника или волонтера (нам нужны люди, которые будут общаться с ботами наших участников).
Если вы понятия не имеете, с чего начать, то мы сделали это специально для вас.
Для запуска требуется немного предварительных условий — по сути, только Docker. Так что – дерзайте! P.S. Если вы заинтересованы в участии в создании искусственного интеллекта не только во время конкурса, но и на постоянной основе, у нас есть открытые вакансии.
Информацию можно найти на сайте ipavlov.ai .
Литература
- Чиа-Вэй Лю и др.
Как НЕ оценивать вашу диалоговую систему: эмпирическое исследование показателей неконтролируемой оценки для генерации диалоговых ответов.
- Юлиан Влад Сербан и др.
Обзор доступных корпораций для создания диалоговых систем, управляемых данными.
-
Наш Мозг Как Примитивная Нейронная Сеть
19 Oct, 24 -
Sdk 1.1, Версия 1
19 Oct, 24 -
Об Организации И Дезорганизации
19 Oct, 24
