人工神经网络和模式识别.ppt

* * 3.8.1隐层的特征提取作用 多层前馈神经网络能较好地完成模式识别任务的一个重要原因是，神经网络能够实现一种特殊的非线性变换，把输入空间变换到由其隐层输出所张成的空间，使在这个空间中分类间题变得比较容易。 这种变换把一种特殊的特征提取准则最大化，可以看作是Fisher线性判别的一种非线性多维推广。 * * 3.8.2神经网络与贝叶斯分类器 理论分析和实验结果表明，很多情况下多层感知器的输出可以看作是对贝叶斯后验概率的估计。 如果这个估计比较精确，则神经网络的输出值可以看作是概率，它们的总和将为1。 比如可以证明，当网络输出采用“C中取1”的类别编码，并且采用最小均方误差作为训练目标时，多层感知器的输出就是对贝叶斯后验概率的估计。 估计的精度受网络的复杂程度、训练样本数、训练样本反映真实分布的程度及类别先验概率等多种因素影响。得到这些结论不但有利于我们掌握神经网络与统计模式识别的内在联系，而且将网络输出看作类别后验概率，有利于实际应用中在神经网络之后采取其它的后续决策方法。 * * 两类情况下的讨论 设网络有d个输入节点，输入向量 ； 两类情况，网络可以只有一个输出节点，记其输出为f(x,w)，其中w表示网络的所有权值。 输出编码为：样本如果属于w1，则期望输出d=1，如果属于w2，则期望输出d=0。 设训练样本集合为x，其中属于w1类和w2类的样本的集合分别为X1和X2，则训练的均方误差为： * * 把样本x看作是随机变量，其概率密度函数为p(x) 设两类的先验概率分别为P(w1)和P(w2), p(x|wi）,i=1,2是两类样本的类条件概率密度 P(wi|x)是样本x属于wi的后验概率。 设训练样本数为无穷大，且它们的分布反映真实的概率分布，由上面的均方误差函数就成为 * * 进一步处理后可得： 其中 由于式中的后一项与权值w无关，因此最小化式Ea的均方误差等价于最小化式e2(w)。 它是网络输出与样本后验概率之间的平方误差在所有可能样本上的数学期望。 因此我们得出结论：当训练样本无穷多时以使均方误差最小为目标训练的神经网络的输出在统计意义上是对样本后验概率的最小均方误差估计。 * * 但是，目前为止，对网络输出在什么条件下能够逼近后验概率，即在什么条件下e2(w)趋近于0不得而知，只是在一些特殊的清况下有一些结论。 比如：对于同样的两类倩况，如果样本服从n维空间的正态分布，对一个拥有至少2n个隐层节点、隐层和输出层神经元均采用Sigmoid函数的三层神经网络，它的输入输出关系在统计意义上是对第一类后验概率密度函数的估计； 进一步，当样本数无穷大时，若训练过程理想〔即均方误差收敛到了其下确界），则网络的输入输出函数将趋近于第一类的后验概率密度。 * * （2）用聚类方法选择基函数。可以各聚类中心作为核函数中心，而以各类样本的方差的某一函数作为各个基函数的宽度参数。 用（1）或（2）的方法选定了隐层基函数的参数后，因输出单元是线性单元，它的权值可以简单地用最小二乘法直接计算出来。 （3）将三组可调参数都通过训练样本用误差纠正算法求得。做法与BP方法类似，分别计算误差 对各组参数的偏导数（梯度），然后用 迭代求取参数θ 。 * * 3.4竞争学习和侧抑制 前述前馈网络属于监督学习，需要同时提供输入样本和相应的理想输出。 引进竞争机制的前馈网络可以实现无监督学习，完成聚类的任务竞争学习网络的结构与二层前馈网络类似，只是在输出层加上了侧抑制，如图所示。 竞争学习网络结构示意图 * * 侧抑制 侧抑制是在输出层各单元之间相互用较大的负权值输入对方的输出，这种互连构成正反馈，类似于双稳态或多稳态触发器。 竞争的结果是，具有较大输入的单元输出为1,而其他单元的输出都为0。网络动作机制为： * * 初始值及权向量的处理 学习时先用随机数作为权值初始值，为了防止某个输出单元的权值过大造成不应有的侧重，在初始值和整个学习过程中随时将权向量进行归一化处理，即 使得 * * 学习算法 当样本为归一化样本（ ）时，学习可按如下算法进行： * * 注意的问题 首先是网络不可能收敛到修正量趋向于零的状态，因此可以采取强制收敛的方法，在学习过程中将步长参数缓慢减少至零。 其次是学习结果受初始值和学习样本顺序影响很大，聚类的结果未必是我们想要的结果，因此在实际应用时需要加入适当的人工干预。例如先选择少量典型性好的样本作为权向量初始。 * * 3.5 自组织特征映射 入脑是由大量的神经元组成的，它们并非都起着同样的作用，处于空间不同部位的区域分工不同，各自对输入模式的不同特征敏感。 大脑中分布着大量的协同作用的神经元群体，同时大脑网络又是一个复杂的反馈系统，既包括局部反馈，也包括整体反馈及化学交互作