神经网络控制-3.ppt

神经网络控制 2012年6月 3.2 前馈神经网络 3.2.2 BP网络 感知器网络 → 符号函数 → 模式分类 BP网络 → S函数 → 函数逼近 BP (Back Propagation) 设给定P组输入输出样本 从函数拟合的角度，它说明BP网络具有插值功能。 利用该样本集首先对BP网络进行训练,也即对网络的连接权系数进行学习和调整，以便该网络实现给定的输入输出映射关系。 经过训练的BP网络，对于不是样本集中的输入也能给出合适的输出。该性质称为泛化(generalization)功能。 设取拟合误差的代价函数为 其中 问题是如何调整连接权系数以使代价函数E最小？ 最速下降法 目标函数的一阶梯度可表示为： 对于第Q层 其中 对于第Q-1层 其中 梯度计算过程: Q层 → Q-1层 → … → 1层 BP (Back Propagation)网络 对于第Q-2层及以下各层, 计算过程类似, 均需反复计算: 和 变换函数运算 BP网络的学习算法: 学习算法实现的几点说明: (1) 迭代分层进行，首先从第Q层开始，逐步到第1层 (2) 层的迭代算法与其它层有所不同 (3) 首先给定　　　的初始条件，即各层连接权系数的初始值 (4) 对于初始　　　每个样本的输入都会在网络各层产生 (5) 第q层的 计算用到第q-1层神经元输出，而与其它各层输出无直接关系 (6) 各层的 在迭代过程中自动更新。一轮结束后，重新计算当前 下，神经网络中各神经元的输出值，然后再开始下一轮计算 (7) 学习过程结束判断由3.2.4节给出 （1）算法复杂，待寻优的参数太多，存在收敛速度慢的缺点 （2）BP网络学习是一个非线性规划问题，存在局部极值问题 BP网络主要优点: （1）只要有足够多的隐层和隐结点，BP网络可以逼近任意的非线性映射关系； （2）BP网络采用全局逼近的方法，因而它具有较好的泛化能力 BP网络主要缺点: （3）难以确定隐层和隐结点的个数 3.2.3 BP网络学习算法的改进 1．引入动量项 2．变尺度法 虽然二阶梯度法具有比较好的收敛性，但是它需要计算E对w的二阶导数，这个计算量是很大的。所以一般不直接采用二阶梯度法．而常常采用变尺度法或共扼梯度法，它们具有如二阶梯度法收敛较快的优点，而又无需真接计算二阶梯度。 变尺度法 3．变步长法 需要动量项时 3.2.4 神经网络的训练 1．神经网络的特点 (1) 具有自适应功能 它主要是根据所提供的数据，通过学习和训练，找出和输出之间的内在联系，从而求得问题的解答，而不是依靠对问题的先验知识和规则，因而它具有很好的适应性。 (2) 具有泛化功能 它能够处理那些未经训练过的数据，而获得相应于这些数据的合适的解答。同样，它能够处理那些有噪声或不完全的数据，从而显示了很好的容错能力。 现实的问题常常是非常复杂的，各个因素之间互相影响，呈现出复杂的非线性关系．神经网络具有很强的函数逼近能力,适合处理此类问题. (3) 非线性映射功能 (4) 高度并行处理 神经网络的处理是高度并行的，因此用硬件实现的神经网络的处理速度可远远高于通常计算机的处理速度。 与常规的计算机程序相比较，神经网络主要基于所测量的数据对系统进行建模、估计和逼近，它可应用于如分类、预测及模式识别等众多方而。例如，函数映射是功能建模的一个典型例子。 2．应用神经网络可能遇到的问题 (1) 当所给数据不充分或不存在可学习的映射关系时，神经网络可能找不到满意的解 (2) 有时很难估价神经网络给出的结果。神经网络中的连接权系数是千万次数据训练后的结果，对它的意义很难给出明显的解释，它对输出结果的影响也是非常复杂的 (4) 神经网络的训练是很慢的，而且有时需要付出很高的代价 (3) 需要相当的经验来选择合适的参数 (5) 神经网络在实际应用时的执行时间至关重要。通常执行时间与连接权个数的平方成正比，有些场合必须采用专用的硬件 3．训练神经网络的具体步骤和几个实际问题 (1) 产生数据样本集 通常包括原始数据的收集、数据分析、变量选择以及数据的预处理，只有经过这些步骤后，才能对神经网络进行有效的学习和训练。 ▲ 选择输入量 ▲ 尺度变换和预处理 ▲ 样本集大小 ● 训练模式为连接权总数的5～10倍 ● 输入输出模式的分布 (2) 确定网络的类型和结构 神经网络的类型很多，需根据问题的性质和任务的要求来合适地选择网络类型。一般是从已有的网络类型中选用一种比较简单而又能满足要求的网络，若新设计一个网络类型来满足问题的要求往往比较困难。