第三篇-监督学习神经网络.pdf

第 3 章 监督学习神经网络 单个神经元对于所能够学习的函数类型有很多限制。一个（实现求和单元）的单个神 经元仅能被用于线性可分函数。当需要学习非线性可分函数的时候，就需要一个分层的神 经元网络。训练这些分层的网络比训练一个单个的神经元更为复杂，并且训练可以是监督 学习、非监督学习或者是增强学习。本章讨论监督学习。 监督学习需要一个训练集，该训练集由输入向量和与每一个输入向量相关联的目标向 量组成。神经网络学习器使用目标向量来决定其已经学习的程度，并且通过目标向量指导 权值的调整从而降低整体误差。本章考虑监督学习下不同的神经网络类型，包括标准多层 神经网络、函数链神经网络、简单反馈神经网络、时延神经网络、乘积单元神经网络以及 级联神经网络。第 3.1 节首先介绍这些不同的神经网络结构。第 3.2 节讨论了对于监督训练 的不同的学习规则。第 3.4 节将对集成神经网络进行一个简短的讨论。 3.1 神经网络的类型 人们已经建立了各种各样的多层神经网络。诸如标准多层神经网络、函数链神经网络 和乘积单元神经网络这类的前馈神经网络接收外部的信号并通过在各层传播这些信号以获 得神经网络的结果（输出）。前馈神经网络并不存在到前面各层的反馈连接。另一方面，反 馈神经网络拥有这样的反馈连接以建模被学习问题的时域特征。时延神经网络则记忆一个 先前观察到的模式的窗口。 3.1.1 前馈神经网络 图 3.1 展示了一个标准的前馈神经网络，它包含 3 层：一个输入层（注意一些关于神 经网络的文献中并不将输入层记为一层）、一个隐层和一个输出层。虽然该图仅给出了一个 隐层，但一个前馈神经网络可以有多个隐层。然而，已经证明了使用单调递增可微函数的 单隐层前馈神经网络能够逼近任意的连续函数，只要隐层具有足够多的隐层神经元[383]。 一个前馈神经网络也可以在输入层和输出层之间建立直接（线性）连接。 对于一个任意给定的输入模式 z ，一个前馈神经网络的输出是通过网络中一个单个的 p 向前传递得到。对于每一个输出单元ok ，我们得到（假定在输入层和输出层之间不存在直 接连接）： 22 计算智能导论（第 2 版） ok , p = fok (netok , p ) ⎛ J + 1 ⎞ = f ok ⎜ ∑w kj f yj (net y j , p ) ⎟ ⎝ j =1 ⎠ ⎛ J + 1 I + 1 ⎞ = f ok ⎜ ∑w kj f y j (∑v jiz i , p ) ⎟ （3.1 ） ⎝ j =1 i =1 ⎠ 其中 f O 和 f y 分别是输出单元 o 和隐层单元 y 的激活函数。w 是输出单元 o 和隐层单 k j k i ki k 元 y 之间的权值。z 是输入模式 z 的输入单元 z 的值。第（I+1 ）个输入单元和第（J+1 ） i i,p p i 个隐层单元是代表下一层中的神经元的阈值的偏置单元