BP神经网络.ppt

BP (Back propagation)神经网络 内容提要 BP神经网络概念及特点 BP神经网络的分类 BP神经网络的用途 BP神经网络的实现过程 BP神经网络的不足及改善方法 基本概念 BP（Back Propagation）网络是是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。 BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。 泛化能力（generalization ability）：是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出 。 神经网络分为静态神经网络和动态神经网络。 静态神经网络：无反馈；无记忆功能。 （只依赖于当前输入） 动态神经网络：有反馈（recurrent） 无反馈（nonrecurrent） BP神经网络的用途 BP神经网络的用途：分类，预测, 控制 BP神经网络的分类： BP神经网络的预测： PS:BP神经网络的预测和BP神经网络的分类很相似，建模过程和训练过程与分类是很类似的。 区别：分类是自变量（x）与标签（label）的关系。而预测是自变量（x）与因变量（y）的关系。 神经网络创建函数： net = newff(P,T,[S1 S2...S(N-l)],{TF1 TF2...TFNl}, BTF,BLF,PF,IPF,OPF,DDF) 神经网络训练函数： [net,tr,Y,E,Pf,Af] = train(net,P,T,Pi,Ai) 神经网络预测函数： simOut = sim(model,ParameterName1,Value1, ParameterName2, Value2...); 多层前向BP网络的优点： ①网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题； ②网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力； ③网络具有一定的推广、概括能力。 BP神经网络的不足： 虽然BP网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。 由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。 BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。 网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。 网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。 改进后的网络： 小波神经网络 模糊神经网络 支持向量机 * * 隐含层(hide layer) 输入层（input layer） 输出层（output layer） BP神经网络表达了从M个自变量到L个因变量的函数关系 过拟合现象 系统建模 构建合适的BP神经网络 BP神经网络初始化 训练结束 BP神经网络训练 BP神经网络构建 BP神经网络训练 N 测试数据 BP神经网络训练 BP神经网络分类 BP神经网络可以表达非线性系统，该方法把未知系统看成一个黑箱，首先用系统输入输出数据训练BP神经网络，使网络能够表达该未知函数，然后就可以用训练好的BP神经网络预测系统输出。 *