Алгоритмы Разума

Наука всегда сопровождает технику, изобретения дают нам новую пищу для размышлений и создают новые явления, которые еще предстоит объяснить.
Так говорит Арам Харроу, профессор физики Массачусетского технологического института в своей статье.
«Почему сейчас самое подходящее время для изучения квантовых вычислений» .
Он считает, что энтропию невозможно было полностью понять с научной точки зрения до тех пор, пока технология паровых двигателей не дала толчок развитию термодинамики.
Квантовые вычисления возникли из-за необходимости моделировать квантовую механику на компьютере.
Точно так же алгоритмы человеческого разума можно изучать с появлением нейронных сетей.
Энтропия используется во многих областях: например, в умный урожай , В кодирование видео и изображения; В статистика .

Как это связано с машинным обучением?
Как и паровые двигатели, машинное обучение — это технология, предназначенная для решения узкоспециализированных задач.
Недавние открытия в этой области могут помочь нам понять, как человеческий мозг работает, воспринимает мир вокруг нас и учится.
Технология машинного обучения дает новую пищу для размышлений о природе человеческого мышления и воображения.

Компьютерное воображение
Пять лет назад пионер глубокого обучения Джефф Хинтон (профессор Университета Торонто и сотрудник Google) опубликовал видео: Хинтон обучил пятислойную нейронную сеть распознавать рукописные цифры по растровым изображениям.
Используя компьютерное зрение, машина могла читать рукописные символы.
Но, в отличие от других работ, нейронная сеть Хинтона могла не только распознавать числа, но и воссоздавать в своем компьютерном воображении образ числа, исходя из его значения.
Например, на входе задано число 8, а на выходе машина выдает его изображение: Все происходит на промежуточных уровнях сети.
Они работают как ассоциативная память: от картинки к смыслу, от смысла к картинке.

Может ли человеческое воображение работать таким же образом?
Несмотря на упрощенную, но очень вдохновляющую технологию компьютерного зрения, главный вопрос с научной точки зрения заключается в том, работают ли человеческое воображение и визуализация одинаково.
Разве не этим занимается человеческий разум? Когда человек видит число, он узнает его.
И наоборот, когда кто-то говорит о цифре 8, ум представляет в воображении цифру 8. Возможно ли, что человеческий мозг, подобно нейронной сети, переходит от изображения к изображению (или звуку, запаху, ощущению), используя информацию, закодированную слоями? Ведь нейронные сети уже есть рисовать картинки , писать музыку и даже создавать внутренние связи.

Созерцание и внешний вид
Если распознавание и воображение на самом деле являются всего лишь связями между изображением и изображением, что происходит внутри слоев? Могут ли нейронные сети помочь в этом разобраться? 234 года назад Иммануил Кант в своей книге «Критика чистого разума» утверждал, что созерцание — это лишь идея явления.
Кант считал, что человеческое познание определяется не только рациональным и эмпирическим мышлением, но и интуицией (созерцанием).
По своему определению, без созерцания, все знания будут лишены объектов и останутся пустыми и бессмысленными.
Сегодня профессор Беркли Алеша Фрос (специалист по ВУ?) заметил, что в видимом мире гораздо больше вещей, чем слов для их описания.
Использование слов в качестве меток для обучающих моделей может привести к языковым ограничениям.
Есть много вещей, которые не имеют названия на разных языках.
Популярный пример – самое емкое слово в мире.
Мамихлапинатапай .
Можно провести параллель между машинными следами и явлениями, а также кодированием и интуицией (созерцанием).
При обучении глубоких нейронных сетей, например, при работе над признание кошки Вы можете видеть, что процессы идут прогрессивно от нижних уровней к верхним.
Сеть распознавания изображений кодирует пиксели на самом низком уровне, распознает линии и углы на следующем, затем стандартные формы и так далее.
С каждым уровнем задача становится все сложнее.
Средние уровни не обязательно имеют связи с итоговым изображением, например, «кошка» или «собака».
Только последний уровень соответствует меткам, определенным людьми, и ограничен этими метками.

Кодирование и маркировка пересекаются с понятиями, которые Кант называл интуицией и явлением.

Шумиха вокруг гипотезы Сепира-Уорфа
Как отметил ОФрос, концептуальных моделей гораздо больше, чем слов для их описания.
Если это правда, то могут ли слова ограничивать наши мысли? В этом заключается основная идея гипотезы лингвистической относительности Сепира-Уорфа.
В своей наиболее строгой форме гипотеза Сепира-Уорфа утверждает, что структура языка влияет на то, как люди воспринимают и осмысливают мир.
Это так? Возможно ли, что язык полностью определяет границы нашего сознания или мы вольны понимать что угодно, независимо от того, на каком языке говорим?

На картинке изображено 12 светло-зеленых квадратов, один из которых разного цвета.
Попробуйте угадать, какой именно.
У племени химба в речи есть два слова для обозначения разных оттенков салатового, поэтому правильный ответ они дают гораздо быстрее.
Большинству из нас придется приложить усилия, чтобы найти квадрат. Правильный ответ

Теория состоит в том, что, поскольку есть два слова, позволяющие отличить один оттенок от другого, наш разум начнет тренироваться различать эти оттенки, и со временем разница станет очевидной.
Если смотреть умом, а не глазами, то язык влияет на результат. Еще один яркий пример: поколению миллениалов было сложно привыкнуть к цветовой палитре CMYK, поскольку цвета голубой и пурпурный не запоминаются с рождения.
Причем в русском языке это сложные составные цвета, которые трудно точно представить: морской зеленый и пурпурно-красный.

Смотри умом, а не глазами
Нечто подобное можно увидеть и в машинном обучении.
Модели обучены распознавать изображения (текст, аудио.
) в соответствии с заданными метками или категориями.
Сети гораздо эффективнее распознают помеченные категории, чем немаркированные категории.
Это неудивительно при обучении с учителем.
Язык влияет на восприятие мира человеком, а наличие меток влияет на способность нейронной сети распознавать категории.
Но наличие тегов не является обязательным условием.
В кошачьем мозге Google сеть формировала понятия «кошка», «собака» и другие совершенно самостоятельно, без указания требуемых решений (меток).
Сеть обучалась без преподавателя (только уточнялась ситуация).
Если на его вход подать картинку, принадлежащую определенной категории, например «кошки», то активируются только «кошачьи» нейроны.
Получив на вход большое количество обучающих изображений, эта сеть сформировала основные характеристики каждой категории и различия между ними.

Если вы постоянно будете показывать ребенку пластиковый стаканчик, он начнет его узнавать, даже если не знает, как эта штука называется.
Те.
изображение не будет соответствовать имени.
В данном случае гипотеза Сепира-Уорфа неверна — человек может исследовать и действительно исследует различные образы, даже если для их описания нет слов.
Машинное обучение с учителем и без него предполагает, что гипотеза Сепира-Уорфа применима к обучению человека с учителем и не подходит для самообучения.
Это значит, что пора перестать спорить и дискутировать по этому поводу.
Философы, психологи, лингвисты и нейробиологи изучают эту тему уже много лет. Связь машинного обучения и информатики была обнаружена сравнительно недавно, благодаря достижениям в области больших данных и глубокого обучения.
Некоторые нейронные сети показывают отличные результаты в языковом переводе, классификации изображений и распознавании речи.
Каждое новое открытие в области машинного обучения помогает нам понять немного больше о человеческом разуме.

Абстрактный

Человеческий мозг, как нейронная сеть, переходит от изображения к изображению.

Кодирование у человека — то же самое, что и созерцание, а отметки — это явления.

Если смотреть умом, а не глазами, то язык влияет на результат.

Гипотеза Сепира-Уорфа может быть верной для обучения с учителем, но совершенно неверной для обучения без учителя.