人工智能10前馈神经网络.pdf

《人工智能：算法的视角》卷一草稿 第十章 前馈神经网络 第十章 前馈神经网络 如第九章所述，前馈神经网络 （以下简称前馈网络）是结构上不包含信息回路的神经网 络。在网络工作过程中，信息从输入层输入，经若干中间层，逐层传递到输出层产生输出。 从计算角度看，前馈网络建立了输入-输出之间的映射关系，是一种函数表达形式。事实上， [1] 人们已证明4 层以上前馈网络足以表达任意的连续函数 。当然一个前馈网络是否能准确表 达待求解的函数，除了结构以外，还依赖于相应学习算法的有效性，二者是紧密交织在一起 的，前馈网络的每一次大发展，从最初的单层感知器、到多层感知器、再到深度网络，都是 结构和学习算法的共同进步。 前馈神经网络既然可以看作函数，则既可以从结构来推得其所表达的函数形式，也可以 反过来从要表达的函数形式来反推网络结构，径向基函数网络是后者的一个典型代表，从中 可以更好地看出前馈网络与函数之间的内在联系。 本章介绍经典的前馈神经网络结构及其学习算法，包括感知器 （Perceptron ）、自适应线 性神经元网络 （ADAptive Linear Neuron ，ADALN ）、误差反向传播（Back-Propagation, BP ） 网络、卷积神经网络（Convolutional Neural Network, CNN ）、深度信念网络（Deep Belief Network, DBN ）、自编码器（Auto-Encoder ）网络、径向基函数网络。 10.1 感知器 感知器是美国学者罗森勃拉特于 1957 年为研究大脑的记忆、学习和认知过程而出的 [2, 3] 一种前馈网络模型 。作为最先出的具有自学习能力的神经网络模型，感知器在神经网 络发展史上占有重要地位。 10.1.1 感知器结构与学习算法 原始感知器由输入层和输出层两层构成，两层神经元之间采用全互连方式，其基本结构 如图 10-1 所示。在感知器中，输入层各神经元仅用于将输入数据传送给与之连接的输出神 经元，计算仅发生在输出层，输出层各神经元中采用的整合函数为加权求和型函数，激活函 数为阈值型函数。根据上一章所述的加权求和型整合函数与阈值型激活函数，设第j 个输出 ω 神经元的连接权值为 { }，其中 表示神经元输出阈值， 表示第 i ωj = ω0j ,ω1j , ,ωmj ω0j ij 个输入神经元与第j 个输出神经元之间的连接权值；输入神经元和输出神经元的个数分别为 m 和n ，x = {x ,x ,!,x } 与y = {y ,y ,!,y }分别表示任意一个输入及其所产生的输出， 1 2 m 1 2 n 则有： ⎧ m 1, ω x 0 ⎪ ∑ ij i ⎪ i=0 y j = ⎨ m . (10-1) ⎪ 0,∑ω x ≤ 0 ⎪ ij i ⎩ i=0 《人工智能：算法的视角》卷一草稿 第十章 前