Об авторе.
Ричард Саттон — профессор информатики в Университете Альберты.
Его считают одним из основоположников современных вычислительных методов обучения с подкреплением.
Самый главный урок 70-летних исследований ИИ заключается в том, что общие вычислительные методы в конечном итоге являются наиболее эффективными.
И с большим отрывом.
Конечно, причина в законе Мура, а точнее, в экспоненциальном снижении стоимости вычислений.
В большинстве исследований ИИ предполагается, что агенту доступны постоянные вычислительные ресурсы.
В этом случае практически единственным способом повышения производительности является использование человеческих знаний.
Но типичный исследовательский проект слишком краткосрочный, и через несколько лет производительность компьютера неизбежно возрастает. Стремясь к улучшению в краткосрочной перспективе, исследователи пытаются применить человеческие знания в определенной области, но в долгосрочной перспективе значение имеет только вычислительная мощность.
Эти две тенденции не должны противоречить друг другу, но на практике они противоречат друг другу.
Время, потраченное в одном направлении, — это время, потерянное в другом.
Существуют психологические обязательства инвестировать в тот или иной подход. А внедрение предметных знаний имеет тенденцию усложнять систему, делая ее менее подходящей для общих вычислительных методов.
Было много примеров того, как исследователи слишком поздно усвоили этот горький урок, и полезно взглянуть на некоторые из наиболее известных.
В компьютерных шахматах система, которая победила чемпиона мира Каспарова в 1997 году, была основана на глубоком поиске вариантов.
В то время большинство исследователей компьютерных шахмат смотрели на эти методы с тревогой, поскольку они использовали человеческое понимание предметной области — специфической структуры шахматной игры.
Когда более простой подход, основанный на поиске, со специализированным аппаратным и программным обеспечением, оказался значительно более эффективным, эти исследователи отказались признать свое поражение.
Они сказали, что подход грубой силы, возможно, сработал однажды, но это не общая стратегия.
В любом случае, люди не так играю в шахматы.
Эти исследователи хотели, чтобы методы, основанные на человеческом понимании игры, помогли добиться победы, но они были разочарованы.
Похожая ситуация возникла и в исследовании игры Го, только с опозданием на 20 лет. Огромные первоначальные усилия были приложены для того, чтобы избежать поиска и использовать человеческие знания или игровые функции, но все эти усилия оказались бесполезными, когда был эффективно применен глубокий поиск вариантов с массовыми параллельными вычислениями.
Самообучение также было важно при изучении функции ценности, как и во многих других играх и даже в шахматах, хотя в программе 1997 года, впервые победившей чемпиона мира, эта функция не играла главной роли.
Самостоятельное обучение и обучение в целом похожи на поиск в том смысле, что они позволяют выполнять массовые параллельные вычисления.
Поиск и обучение — наиболее важные применения вычислительных мощностей в исследованиях ИИ.
Как и в случае с компьютерными шахматами, при разработке программы Го исследователи сначала сосредоточились на применении человеческого понимания предметной области (что требовало меньшего количества поисков), а гораздо позже добились большого успеха, применив поиск и обучение.
В 1970-х годах DARPA провело конкурс систем распознавания речи.
Конкуренты предлагали множество специальных методов, в которых использовались знания предметной области — знание слов, фонем, голосового тракта человека и т. д. С другой стороны, были представлены новые методы, носившие более статистический характер.
Они делали гораздо больше расчетов на основе скрытых марковских моделей (СММ).
И снова статистические методы одержали победу над методами, основанными на знании предметной области.
Это привело к значительным изменениям во всей обработке естественного языка.
Постепенно, с годами, статистика и вычисления стали доминировать в этой области.
Недавний рост глубокого обучения в распознавании речи является последним шагом в этом направлении.
Методы глубокого обучения еще меньше полагаются на человеческие знания и используют еще больше вычислений наряду с обучением на огромных наборах данных.
Это позволило значительно улучшить системы распознавания речи.
Как и в случае с играми, исследователи всегда пытались создавать системы, которые работали бы по их собственному разуму: они пытались перенести свои знания в свои системы.
Но в конечном итоге это оказалось контрпродуктивным и стало колоссальной тратой времени, когда закон Мура сделал доступными огромные вычисления и были разработаны инструменты для их эффективного использования.
В компьютерном зрении картина аналогичная.
Ранние методы рассматривали зрение как поиск границ объектов, обобщенных цилиндров или с точки зрения функций SIFT. Но сегодня все это отброшено.
Современные нейронные сети глубокого обучения используют только концепции свертки и некоторые инварианты, и они работают намного лучше.
Это большой урок.
Как отрасль в целом, мы еще не полностью освоили это, потому что продолжаем совершать одни и те же ошибки.
Чтобы эффективно противостоять этому, вам необходимо понять, что делает эти ошибки привлекательными.
Мы должны усвоить трудный урок: построение модели человеческого разума в долгосрочной перспективе не сработает. Горький урок основан на нескольких исторических наблюдениях:
- Исследователи часто пытались внедрить свои знания в агентов ИИ.
- Это всегда помогает в краткосрочной перспективе и приносит личное удовлетворение исследователю, но
- В долгосрочной перспективе такой подход достигает потолка и даже препятствует дальнейшему прогрессу.
- Прорывной прогресс в конечном итоге достигается благодаря противоположному подходу, основанному на массовых вычислениях посредством поиска и обучения.
Один урок, который следует извлечь из этого болезненного опыта, — это осознать огромную мощь универсальных методов, которые продолжают масштабироваться с увеличением вычислительной мощности, даже когда требуются огромные объемы вычислений.
Поиск и обучение, кажется, могут масштабироваться бесконечно.
Второй общий урок, который следует усвоить, заключается в том, что реальное человеческое мышление чрезвычайно и необратимо сложно.
Нам следует прекратить попытки найти простой способ представить содержимое разума в виде простых моделей пространства, объектов или множества агентов.
Все это часть внутренне сложного внешнего мира.
Это невозможно смоделировать, поскольку сложность бесконечна.
Вместо этого следует разработать метаметоды, которые смогут обнаружить и уловить эту произвольную сложность.
Для этих методов важно то, что они могут находить хорошие приближения, но этот поиск осуществляется самими методами, а не нами.
Нам нужны агенты ИИ, которые смогут проводить исследования самостоятельно, а не использовать полученные нами знания.
Построение системы искусственного интеллекта на основе человеческих знаний только усложняет обучение.
Теги: #Машинное обучение #искусственный интеллект #Логические игры #компьютерное зрение #скрытые модели Маркова #HMM #глубокий поиск
-
Нимбарка
19 Oct, 24 -
Хабрагифты
19 Oct, 24 -
Стоять Или Не Стоять: Решайте С 2Гис
19 Oct, 24 -
Как Я Ремонтировал Аккумулятор Ноутбука
19 Oct, 24
