Если на рисунок слона машина-персептрон распознавания реагирует сигналом «мура», на изображение верблюда — тоже «мура», а на портрет выдающегося учёного — опять же «мура», то это не обязательно означает, что он неисправен.
Возможно, она просто философствует. К.
Прутков-инженер.
Мысль №30.
Строгая логическая функция активации
Копируя принцип работы биологического нейрона при создании искусственных нейронных сетей, мы не особо задумываемся о том, какой смысл приобретает функция активации логической модели нейрона.Функция всегда записывается как логическая сумма, логическое «И» для определенного набора входов, и именно одновременная активность этих входов активирует наш нейрон.
Если отбросить внешнюю семантическую привязку входов, то активацию нейрона можно описать следующим образом.
Для одного внешнего события, состоящего из набора входящих образов, определенная группа входящих образов объединяется в новый чисто логический образ — абстракцию.
Уже для группы таких событий, активирующих нейрон, выявляется общий набор — генерализация.
Но то, как происходит абстракция и обобщение, зависит от правил, используемых для обучения в нашем нейроне.
Самым близким к реальности обучением одного нейрона всегда было обучение без учителя.
Но даже в этом случае у нас есть несколько принципов, руководящих самообучением.
Две крайности и компромисс между ними.
Первая крайность — статистическое нахождение наиболее часто встречающейся группы изображений.
Каждый раз, когда происходит событие, активные в данный момент изображения увеличивают свой внутренний счетчик.
Вторая крайность — найти наиболее часто повторяющийся шаблон из всех активных изображений.
Для активных в данный момент изображений с наименьшим значением внутреннего счетчика оно увеличивается.
Компромисс между крайностями очевиден.
После этапа обучения логическая функция активации нейрона уже не может меняться в процессе работы; переподготовка изменит результаты.
Логические функции нейронов составляют логическую структуру; переобучив его, мы сможем решать новые проблемы, но старых уже не будет. Для решения новых задач на основе устойчивой логической структуры необходимо использовать существующие решения посредством аналогий, а также дополнительное обучение путем добавления новых нейронов.
Логическая функция активации не имеет возможности аналогии в силу своей строгости, и менять ее строгость нет смысла; это нарушит логику, на которую мы будем опираться в механизме аналогии.
У нашего нейрона еще есть входы из его зоны ответственности, которые не участвуют в функции активации.
Мы воспользуемся ими, если функция активации не сработает. Функция аналогий будет одновременно работать и учиться, пытаясь запомнить последнюю ситуацию на входах нейрона.
Фактически наличие двух функций внутри одного нейрона делает его гибридным, и обе эти функции могут активировать нейрон.
Но функция строгой логической активации первична, а функция аналогии вторична.
Функция активации по аналогии.
Функция аналогий работает по методу весов, в зависимости от того, каких активных аналогий больше, положительных или отрицательных, нейрон активируется или молчит. Можно ввести весовой коэффициент для связей по аналогии, чтобы регулировать скорость переобучения.
Принцип образования положительной аналогии состоит в том, что самое главное — это основная функция активации нейрона; только если он сработает, есть основание рассматривать активные связи аналогий как дополнительные факторы, сопровождающие распознавание изображения нейроном.
Значимость аналогии усиливается только тогда, когда срабатывает первичная функция активации.
Связи аналогий можно даже назвать контекстом для образа, распознаваемого первичной функцией активации.
Принцип образования отрицательной аналогии заключается в том, что без положительного результата первичной логической функции активации нейрон с преобладающим числом активных положительных аналогий должен со временем замолчать.
Но снижать вес активной связи-аналогии стоит только до тех пор, пока нейрон не успокоится, то есть причиной уменьшения веса связи является активация нейрона именно по функции аналогии.
Нейронная сеть с временной логикой
По своей логике функция аналогии позволяет запомнить предыдущее событие.Результат зависит не только от настоящего события, но и от последовательности предыдущих.
В то же время функция активации не позволяет связать последовательность событий в строгую логическую структуру.
Этого можно добиться, сдвинув выходной сигнал нейрона на один такт. Сдвиг вывода результата позволяет соединять нейроны в сети произвольным образом, так как можно сначала вычислить функции всех нейронов сети и только потом подавать результаты на выходы, не нарушая логику распространения сигналов.
в сети.
Такие сети могут запоминать последовательности и анализировать информационные потоки.
Находим что-то новое для сети и добавляем новые нейроны
Может случиться так, что обрабатываемая информация окажется совершенно новой для нашей сети.То есть нейроны не будут активированы не только функцией активации, но даже аналогии будут исключительно негативными.
Это тот случай, когда мы никак не можем распознать поступающую информацию и для ее распознавания используем аналогии с существующими логическими нейронами.
Это означает, что наличие только активных отрицательных аналогий является признаком открытия новой информации, которая не может быть классифицирована существующими логическими рамками сети.
И именно в том месте, где возникает наибольшее количество отрицательных активных аналогий, необходимо добавить для обучения новый нейрон.
Теги: #искусственный интеллект #мозг #нейронные сети #нейроны #нейрон #нейронная сеть
-
Как Выровнять Пирамиду Смерти
19 Oct, 24 -
Embarcadero Rad Студия Xe6
19 Oct, 24
