智能控制神经网络控制.PPTVIP

第三章 神经网络控制 　　神经网络是在生物功能启示下建立起来的一种数据处理技术。它是由大量简单神经元互连而构成的一种计算结构，在某种程度上模拟生物神经系统的工作过程，从而具备解决实际问题的能力。 　神经网络具有很强的自适应性和学习能力、非线性映射能力、鲁棒性和容错能力。 二. 人工神经元模型 4、误差函数的改进 5、双极性S型激活函数法 在每一层的反向递推计算 第三章 神经网络控制 需要说明的是： 中都出现导数项 。 该项的计算，与所取的激活函数直接相关。比如，取变换函数 为S型函数，那么其导数项可计算如下： 由于： 所以： 最后可归纳出BP网络的学习算法如下： 五.神经网络的局限性及其改进 第三章 神经网络控制 BP网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力，但也由此使BP网络得应用具有很大的局限性。 主要缺点是： · 收敛速度慢 · 局部极值 · 难以确定隐层和隐结点的个数 以上问题，直接影响了BP网络在多种领域中的实际应用。现有的研究成果已经提供了许多改进算法。 比较典型的方法有：引用动量项法、变尺度法、变步长法。近年来，又有人提出：误差函数的改进法、双极性S型激活函数法，等等改进措施。 第三章 神经网络控制 1、引入动量项 为k时刻的负梯度。 为学习率， 0 。 为动量项因子， 。 该方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，这是目前应用比较广泛的一种改进算法。 根据经验数据动量项因子取0.95比较适合 2. 变尺度法 标准的BP学习算法所采用的是一阶梯度法，因而收敛较慢。若采用二阶梯度法，则可以大大改善收敛性。二阶梯度法的算法为 其中 第三章 神经网络控制 虽然二阶梯度法具有比较好的收敛性, 但是它需要计算E对w的二阶导数，这个计算量是很大的。所以一般不直接采用二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有如二阶梯度法收敛较快的优点，而又无需直接计算二阶梯度。下面具体给出变尺度法的算法。 第三章 神经网络控制 3. 变步长法 当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。当需要引入动量项时，上述算法的第二项可修改为 第三章 神经网络控制 　 一般对数S型激活函数的输出动态范围为(0,1)，引起权值调节量的减少或不调节，加长了训练时间。 　　解决方法：将输入范围变为1/2，同时使S型函数的输出范围也变为?1/2。 第三章 神经网络控制 第三章 神经网络控制 (1) 产生数据样本集 (2) 确定网络的类型和结构 (3) 训练和测试 3.2.3 神经网络的训练 (1) 产生数据样本集 这里包括原始数据的收集、数据分析、变量选择以及数据的预处理。 首先要在大量的原始测量数据中确定出最主要的输入模式。这就需要对原始数据进行统计分析，检验它们之间的相关性。找出其中最主要的量作为输入。 在确定了最重要的输入量后，需进行尺度变换和预处理。尺度变换常常将它们变换到 [-1, 1]或[0, 1] 的范围。在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须剔除。 对于一个复杂问题应该选择多少数据，这也是一个很关键的问题。系统的输入输出关系就包含在这些数据样本中。所以一般说来，取的数据越多，学习和训练的结果便越能正确反映输入输出关系。 但是选太多的数据将增加收集、分析数据以及网络训练的所付的代价。选太少的数据则可能得不到正确的结果。事实上数据的多少取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络大小最关键。通常较大的网络需要较多的训练数据。 一个经验规则是：训练模式应是连接权总数的5至10倍。 在神经网络训练完成后，需要有另外的测试数据来对网络加以检验，测试数据应是独立的数据集合。最简单的方法是：将收集到的可用数据随机地分成两部分，譬如说其中三分之二用于网络的训练，另外三分之一用于将来的测试，随机选取的目的是为了尽量减小这两部分数据的相关性。 影响数据大小的另一个因数是输入模式和输出结果的分布，对数据预先加以分类可以减少所需的数据量。相反，数据稀薄不匀甚至互相覆盖则势必要增加数据量。 (2) 确定网络的类型和结构 在训练神经网络之前，首先要确定所选用的网络类型。若主要用于模式分类，尤其是线性可分的情况，则可采用较为简单的感知器网络，若