Многослойный персептрон
1. Идея метода
Сеть состоит из входного слоя нейронов, нескольких скрытых слоев и выходного слоя. Каждый нейрон последующего слоя связан со всеми нейронами предыдущего модифицируемыми связями. Нейроны имеют сигмоидальную (реже пороговую) функцию возбуждения. Многослойный персептрон является нелинейным классификатором , т.е. может делить пространство сигнала несколькими плоскостями. Сеть обучается классификации изменением весов связей (также могут изменяться и “смещения”).
2. Математическое описание
Аналогично простому персептрону, каждый нейрон в многослойном персептроне выполняет разделение пространства сигналов гиперплоскостями. Наличие скрытых слоев позволяет объединять эти гиперплоскости операциями ИЛИ, НЕ, И, и получать в результате поверхности любой сложности.
Для обучения нейросети был разработан алгоритм обратного распространения ошибки, являющийся дальнейшим развитием дельта-правила, используемого в простом персептроне.
Введем следующие обозначения:
EW – производная ошибки по весу
EA – производная ошибки по уровню активности элемента
EI – скорость изменения ошибки при изменении входа элемента
X – входной вектор
Y – выходной вектор
W – матрица связей,
f – функция возбуждения (сигмоидальная функция)
Dj – желаемый выход j-го элемента
E – ошибка классификации
С использованием этих обозначений можно записать следующие соотношения:
Т.о., в (6) мы получили EA для следующего слоя, и теперь имеем возможность повторить эти операции для всех нижележащих слоев.
После нахождения матрицы EWij корректируются связи Wij:
