Это пост-вопрос, в котором я попытался сформулировать основные проблемы нейронных сетей, решение которых может совершить прорыв в технологиях искусственного интеллекта.
В основном речь идет о сетях, работающих с текстом (GPT, BERT, ELMO и т. д.).
Как известно, хорошая формулировка проблемы – это половина ее решения.
Но сам я не могу найти эти решения.
Надеюсь на «помощь зрителей», поскольку здесь много тех, кто сталкивается с такими же проблемами и, возможно, «видит» их решение.
Так.
1. Самая, казалось бы, простая вещь, но нейросеть не учитывает факты.
Нейронная сеть учится на частных фактах, но, похоже, не знает о них.
В когнитивном языке NN обладает, грубо говоря, семантической, а не эпизодической памятью.
Решение может быть простым, но нейросеть — это классификатор, а прецеденты не могут быть классами, противоречие.
И зачастую от ботов нужен именно такой ответ; они очень плохо работают с фактами, если речь не идет о шаблонном «ответе».
Проблема усугубляется тем фактом, что всегда существуют исключения, которые сеть не может учесть, пока не будет достаточно примеров с исключениями.
И если примеров достаточно, это не исключение.
В общем, NN может сказать, что это шляпа, но не может сказать, какая шляпа моя (пример был только один).
2. "Здравый смысл".
Известная проблема, которую даже называют «темной материей ИИ».
Есть интересные подходы к решению, например, В этой статье , в котором описывается попытка объединить символический (логический) ИИ и подходы нейронных сетей.
Но это попытка идти назад, а не вперед. Проблема в том, что «здравый смысл» — это неявные знания о мире, которых не было в обучающем наборе данных.
Никто даже не произносит таких банальностей; их изучают в 4-6 лет, когда они еще не умеют писать.
Громкие провалы проектов Compreno и Cyc показывают, что невозможно четко описать все факты.
Они как-то на лету вылезают. Хороших идей решения пока нет, кроме ограничения словаря.
Например, «школьнику» следует «наложить» на лексикон ответов такие «фильтры», чтобы в выбранных вариантах не было слов «армия» или «брак», если речь идет о нем самом, а не о наличии у него старшего поколения.
брат на свадьбе.
Как это сделать в NN (мне) не ясно.
3. Не менее важной проблемой и, возможно, связанной с предыдущей, является проблема построения рассуждений.
Нейронные сети не могут делать силлогизмы, то есть простейшие выводы при последовательном рассуждении (промежуточные выводы).
Та же проблема, с другой стороны, заключается в неспособности преследовать цель рассуждения или хотя бы придерживаться определенного смысла.
GPT может создавать текст новостей по заданной теме, но бесполезно говорить: «Напишите новость, чтобы очернить X».
В лучшем случае она напишет об очернении со стороны других, причем явно, а не так, как мы, люди, между строк.
Заключение силлогизма также является целью – необходимо соотнести посылку с заключением.
Имейте это в виду в самом первом утверждении (посылке).
Пока даже не ясно, «с какой стороны» это следует выложить в сеть.
Может кто знает? 4. И еще одна проблема, которая представляет собой даже не темную материю, а черную дыру ИИ.
Это аналогии и метафоры.
ИИ понимает все только буквально.
Ей бесполезно говорить «похоже на X».
Сеть может дополнить описание, но не описать аналог.
Возможно, это просто проблема с соответствующим набором данных.
Но мне кажется, что он глубже и показывает коренной «недостаток» нынешних архитектур ИИ, как и пункт 3. Наш язык полностью метафоричен, и отсюда «проклятие лингвистов»: омонимия.
Одни и те же лексемы используются через метафоры во множестве разных «понятий».
И мы легко в этом ориентируемся.
Частично это решается в задаче определения интентов, но это опять же определение «темы», а не всего понятия, которое состоит не только из названия интента и связанных с ним шаблонов ответа, как в ботах.
Пока этих четырех достаточно для обсуждения, хотя есть и более конкретные, но не менее важные проблемы, например, в построении ботов.
Достаточно поговорить с Алисой и они становятся интуитивно очевидными.
Но с их формулировками все не так просто – догадаться, в чем проблема, значит догадаться, как ее решить.
Это сложнее.
Спасибо за конструктивные комментарии по теме.
Теги: #Машинное обучение #искусственный интеллект #искусственные нейронные сети
-
Поиск По Сайту — Серьезное Дело
19 Oct, 24 -
Социальные Сети И Сетевой Маркетинг
19 Oct, 24 -
Смит, Адам
19 Oct, 24 -
Как Все Началось – Рождение Видеоигр
19 Oct, 24 -
Объединить Сортировки
19 Oct, 24
