第7章-复杂过程控制系统及先进控制.ppt

7.6.1 神经网络基础 三、神经网络的学习 　　神经网络通过学习算法，可以具备自适应、自组织和自学习的能力。学习算法是 体现人工神经网络智能特性的重要标志。目前神经网络的学习方法有多种，按有无导 师来分类，可分为有导师学习、无导师学习和再励学习三大类。有导师学习方式中， 网络的输出和期望的输出（即教师信号）进行比较，根据两者之间的差异调整网络的 权值，最终使差异变小。无导师学习方式中，输入模式进入网络后，网络按照某种预 先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。再励 学习是介于有导师学习和无导师学习两者之间的一种学习方式。 　　下面介绍两种基本的学习算法。 （一）Hebb学习规则 　　Hebb学习规则是一种联想式学习方法。联想是人脑形象思维过程的一种表现形式。生物学家D.O.Hebbian基于对生物学和心理学的研究，认为突触前与突触后同时兴奋，即两个神经元同时处于激发状态时，它们之间的连接强度将得到加强。这一论述的数学描述被称为Hebb学习规则，即 式中 wij(k)——连接自神经元i到j神经元的当前权值； 　　 ui 、uj——神经元i和j的激活水平。 　　Hebb学习规则是一种无导师的学习方法，它只根据神经元连接间的激活水平 改变权值，故又称为相关学习或并联学习。 (7-151) 7.6.1 神经网络基础 三、神经网络的学习 （二）δ学习规则 　　假设误差准则函数为 式中 dp代表期望的输出（导师信号）。 　　W为网络所有权值组成的向量，即 (7-152) 　　Xp为输入模式，即 (7-153) (7-154) 其中，训练样本数为p=1，2，…，P。 　　神经网络学习的目的是通过调整权值W，使误差准则函数最小。可采用梯度下降 法来实现权值的调整，其基本思想是沿着E的负梯度方向不断修正W值，直到E达到最 小，这种方法的数学表达式为 (7-155) (7-156) 7.6.1 神经网络基础 三、神经网络的学习 （二）δ学习规则 　　其中 　令 ，则 (7-157) 　 W的修正规则为 (7-158) (7-159) 　　上式称为δ学习规则，也称误差修正规则。 　　除以上介绍的两种学习规则外，还有诸如概率式学习、竞争式学习等学习规则， 感兴趣的读者可参考相关文献。 7.6.2 典型神经网络 一、感知器网络 　　感知器是一个具有单层神经元的神经网络，由线性阈值元件组成，是最简单的 前向网络。感知器主要用于模式分类，网络结构如图7-38所示。图中， 为输入特征向量， 为输出量。wij是xi到yj的连接权值，此权值是可以调 整的，因此有学习能力。 图7-38 单层感知器网络 下面给出感知器的一种学习算法： 　　（1）随机地给定一组连接权； 　 （2）输入一组样本和期望的输出； 　　（3）计算知器的实际输出； 　　（4）修正权值； 　 （5）选取另一组样本，重复步骤 （2）～（4）的过程，直到权值 对一切样本均稳定不变，学习过 程结束。 7.6.2 典型神经网络 二、BP神经网络 　　误差反向传播神经网络，简称BP （Back Propagation）网络，是一种单向 传播的多层前向网络，如图7-39所示。BP 神经网络的学习算法简称BP算法，其基本 思想是梯度下降法，采用梯度有哪些信誉好的足球投注网站技术， 目的是使网络的实际输出值与期望输出值 的误差均方值为最小。 图7-39 BP网络结构示意图 BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息 从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下 一层神经元的状态。若在输出层得不到期望的输出，则转入反向传播，将误差信号 （理想输出与实际输出之差）沿原来的连接通路返回，利用梯度下降法来调整各层 神经元的权值，使误差信号减小至最小。 BP学习算法的计算流程如图7-40所示，具体步骤如下： 　　（1）初始化，置所有权值为较小的随机数； 　　（2）提供训练集，给定输入向量和期望的目标输出向量； 　　（3）计算实际输出，计算隐含层、输出层各神经元输出； 　　（4）计算目标值与实际输出的偏差Ep； 　　（5）计算?wjk；（6）计算?wij； 　　（7）返回步骤（2）重复计算，直到偏差Ep满足要求。 7.6.2 典型神