《BP神经网络的不足及改进后的应用.ppt

BP神经网络的不足及改进后的应用 主要内容 BP神经网络简介 BP学习算法的不足 两种BP学习算法的改进方法 基于改进BP神经网络的应用 1 BP神经网络简介 神经网络在实际应用中分为训练阶段和使用阶段 训练阶段，是使用适当的学习算法调整某种结构的网络的参数，使得被训练的网络能够对样本有很好的拟合作用。 BP神经网络也包括了训练和使用这两个阶段。它是前馈型神经网络，采用的是BP学习算法（后向传播学习算法）。 1 BP神经网络简介 BP神经网络（Back Propagation Feed-forward Neural Network），即后向传播学习的前馈型神经网络 前馈型网络结构：在处理样本的时候，前一层的输出即为下一层的输入 反向传播：通过比较输出层的实际输出和预期的结果得到误差，然后通过相关的误差方程式调整最后一个隐含层到输出层之间的网络权重，之后是隐含层之间权重的调整，直到输入层与第一隐含层之间的网络权重调整为止 1 BP神经网络简介 BP神经网络的训练过程 （误差后向传播学习算法） 2 BP学习算法的不足 理论上BP网络能够逼近任意非线性函数，但由于神经网络训练学习中许多参数的选择没有理论依据，使得实际中神经网络的应用具有局限性 2 BP学习算法的不足 BP算法存在局限性与缺点的主要原因是其本身存在很多不足之处，主要有： 学习过程收敛速度慢 所得到的网络容错能力差 误差和函数可能有局部极小值 学习率不稳定 （BP算法学习速度慢、容错能力差、算法不完备） 2 BP学习算法的不足 学习过程收敛速度慢 BP算法是采用对样本集进行逐一学习的方法。设样本集K={r1=(x1,y1), r2=(x2,y2)…… rm=(xm,ym) }，BP算法是先对r1 进行学习，利用误差反向传播对网络的权值和阈值进行调整，知道调整后的网络对应关系（f(x)=y）满足：f(x1)=y1 为止。利用新得的权值和阈值以及下一个样本继续调整网络的权值和阈值。但由于所得新的权值和阈值并不能保证前一个f(xi)=yi 成立。为了克服着个缺点，BP算法采用不断反复循环学习，希望求得正确的解。由于反复循环学习过程需要较长时间，这样就导致了算法学习收敛速度慢。 2 BP学习算法的不足 误差和函数可能有局部极小值 BP算法本质上是以误差平方和为目标函数，用梯度法求其最小值的算法。因此只有误差平法和函数是正定的函数时，才能找到最小值，其他情况必然产生局部极小值 3 两种BP学习算法的改进方法 针对BP学习算法的不足，研究者提出了多种改进的算法，其中典型的方法有： 引入动量项：在权值调节公式中加入一个动量项。加入的动量项相当与阻尼项，它减小了学习过程中的震荡趋势，改善了收敛性能 p为输入元素,k为训练次数，mc为动量因子 3 两种BP学习算法的改进方法 变步长法：在BP学习算法中，学习率参数不易选择，选择太小，收敛太慢；选择太大，容易引起震荡甚至发散。为解决这个问题，可采用变步长方法，也可以称为自适应学习速率。当一个较大的学习速率容能够使网络稳定学习，使误差持续下降，则增加学习速率，使其以更大的学习速率进行学习。一旦学习速率调得过大，而不能保证误差继续下降，则减少学习速率直到使其学习过程稳定为止。 4 基于改进BP神经网络的应用 神经网络在车牌字符识别中的应用 一种基于改进BP神经网络的字符识别系统，克服传统BP算法最终进化至最优解较慢和神经网络易陷入局部极小值的权限 通过采用改进的BP算法，大大提高了识别的速度和精确度 4 基于改进BP神经网络的应用 此应用中采用的BP神经网络结构和设计 车牌字符的特点：汉字（1），字母（2），字母或数字（3,4），数字（5-7）。 根据此特点，构造4 个含一个隐含层的三层BP神经网络，分别用来识别车牌的四部分 汉字：13个输入节点，6个输出节点 字母：13个输入节点，10个输出（实际收集的样本较少） 字母或数字：13个输入节点，20个输出节点（10个字母，10个数字） 数字：13个输入节点，10个输入节点 4 基于改进BP神经网络的应用 采用13特征提取法来提取样本的特征向量作为BP网络的输入，提取步骤： 把字符平均分成8分，统计每一份中黑色像素点的个数作为8个特征 统计水平方向中间两列和竖直方向两列的黑色像素点的个数作为4个特征 统计所有黑的像素点的个数作为第13个特征 4 基于改进BP神经网络的应用 样本的选择与处理 采集多个车牌图片，选择一部分作为训练样本，剩余部分作为测试样本 将所有图片进行定位、预处理、分割以及归一化等操作，使得各原始图片变成大小都为16×16的字符图像 利用13特征法进行特征提取，将其作为网络的输入 4 基于改进BP神经网络的应用 识别数字的BP神经网络 网络为三层：只包含一层隐含层 隐