Познакомимся С Методом Обратного Распространения Ошибки

Простая иллюстрация четырехслойной нейронной сети.

Это могут быть простые скалярные величины или более сложные — векторы или многомерные матрицы.

Уравнение, описывающее входные данные xi. Первый набор активаций (а) равен входным значениям.

«Активация» — значение нейрона после применения функции активации.

Подробности смотрите ниже.

Активации ² и ³ рассчитываются с помощью функции активации f. Например, эта функция f является нелинейной (например, сигмовидная , РеЛУ И гиперболический тангенс ) и позволяет сети изучать сложные закономерности в данных.

Мы не будем вдаваться в подробности того, как работают функции активации, но если вам интересно, очень рекомендую прочитать эту замечательную статья .

Если вы присмотритесь, то увидите, что все x, z ² ,а ² , з ³ ,а ³ , Вт ¹ , Вт ² ,б ¹ и б ² не имеют индексов, показанных на рисунке четырехслойной нейронной сети.

Дело в том, что мы объединили все значения параметров в матрицы, сгруппированные по слоям.

Это стандартный способ работы с нейронными сетями, и он достаточно удобен.

Однако я пройдусь по уравнениям, чтобы избежать путаницы.

В качестве примера возьмем слой 2 и его параметры.

Те же операции можно применить к любому слою нейронной сети.

Вт ¹ представляет собой матрицу весов размерности (н, м) , Где н — количество выходных нейронов (нейронов следующего слоя), а м – количество входных нейронов (нейронов предыдущего слоя).

В нашем случае п=2 И м = 4 .

Здесь первое число в индексе любого из весов соответствует индексу нейрона в следующем слое (в нашем случае это второй скрытый слой), а второе число соответствует индексу нейрона в предыдущий слой (в нашем случае это входной слой).

Икс – входной вектор с размерностью ( м , 1), где м – количество входных нейронов.

В нашем случае м = 4.



б ¹ – вектор размерного смещения ( н , 1), где н – количество нейронов на текущем слое.

В нашем случае н = 2.



Следуя уравнению для z ² мы можем использовать приведенные выше определения W ¹ , х и б ¹ чтобы получить уравнение z ² :



Теперь внимательно посмотрите на иллюстрацию нейронной сети выше:



Как видите, з.

² может быть выражено через z ₁ ² и г ₂ ² , где z ₁ ² и г ₂ ² – сумма произведений каждого входного значения x ^я соответствующему весу W _ij ¹ .

Это приводит к тому же уравнению для z ² и доказывает, что матричные представления z ² ,а ² , з ³ и ³ – верны.

В нашем простом примере он представлен в виде одного нейрона, окрашенного в синий цвет и рассчитанного следующим образом:



Опять же, мы используем матричное представление, чтобы упростить уравнение.

Вы можете использовать описанные выше методы, чтобы понять основную логику.

Вот краткий обзор:



(1) – входной слой (2) – значение нейрона на первом скрытом слое (3) – значение активации на первом скрытом слое (4) – значение нейрона на втором скрытом слое (5) – значение активации на втором скрытом уровне (6) – выходной слой Последним шагом прямого прохода является оценка прогнозируемого выходного значения.

с относительно ожидаемого выходного значения й .

Выходные данные y являются частью набора обучающих данных (x, y), где Икс – входные данные (как мы помним из предыдущего раздела).

Оценка между с И й происходит через функцию потерь.

Это может быть так же просто, как Средняя квадратическая ошибка или более сложный, например перекрестная энтропия .

Мы назовем эту функцию потерь C и обозначим ее следующим образом:



Где расходы может быть равна среднеквадратичной ошибке, перекрестной энтропии или любой другой функции потерь.

На основе значения C модель «знает», насколько ей нужно скорректировать свои параметры, чтобы приблизиться к ожидаемому выходному значению.

й .

Это происходит с помощью метода обратного распространения ошибки.

.

И .

предоставляет возможность создавать новые полезные функции, которые отличают обратное распространение ошибки от более ранних, более простых методов.

Другими словами, обратное распространение направлено на минимизацию функции потерь путем корректировки весов и смещений сети.

Степень коррекции определяется градиентами функции потерь по этим параметрам.

Возникает один вопрос: Зачем рассчитывать градиенты ? Чтобы ответить на этот вопрос, нам сначала нужно пересмотреть некоторые вычислительные концепции: Градиент функции C(x ¹ , Икс ² , …, Икс ^м ) в точке x называется вектор частных производных От до Икс .

Производная функции C отражает чувствительность к изменению значения функции (выходного значения) относительно изменения ее аргумента.

Икс ( входное значение ).

Другими словами, производная говорит нам, в каком направлении движется C. Градиент показывает, насколько нужно изменить параметр.

Икс (положительный или отрицательный), чтобы минимизировать C. Эти градиенты рассчитываются с использованием метода, называемого цепочкой.

правило .

За одну гирю (в ^джк ) _л градиент:



(1) Правило цепочки (2) По определению m — количество нейронов на l – 1 слое.

(3) Расчет производной (4) Окончательное значение Аналогичную систему уравнений можно применить к (b ^дж ) _л :



(1) Правило цепочки (2) Расчет производной (3) Окончательное значение Общая часть в обоих уравнениях часто называется «локальным градиентом» и выражается следующим образом:



«Локальный градиент» можно легко определить с помощью правила цепочки.

Я не буду сейчас описывать этот процесс.

Удачи в вашем путешествии по глубокому обучению! Вот и все.

Приглашаем всех на бесплатный вебинар по теме «Дерево сегментов: просто и быстро» .