神经网络与MATLAB仿真 (1).pptVIP

  1. 1、本文档共145页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
2.BP网络的学习算法 当输出层传递函数为线性函数时,输出层与隐含层之间权值调整的规则类似于线性神经网络的权值调整规则。 BP网络的复杂之处在于,隐含层与隐含层之间、隐含层与输入层之间调整权值时,局部梯度的计算需要用到上一步计算的结果。前一层的局部梯度是后一层局部梯度的加权和。 因此,BP网络学习权值时只能从后向前依次计算。 串行方式 。在线方式,网络每获得一个新样本,就计算一次误差并更新权值,直到样本输入完毕。 随机输入样本,不容易陷入局部最优陷阱。 批量方式 :离线方式。网络获得所有的训练样本,计算所有样本均方误差的和作为总误差 。 容易并行化,速度快。 2.BP网络的学习算法 动量BP法 在标准BP算法的权值更新阶段引入动量因子 ,使权值修正值具有一定惯性: 本次权值的更新方向和幅度不但与本次计算所得的梯度有关,还与上一次更新的方向和幅度有关 (1)如果前后两次计算所得的梯度方向相同,得到的权值较大,可以加速收敛过程 。 (2)如果前后两次计算所得梯度方向相反,则说明两个位置之间可能存在一个极小值,可以得到一个较小的步长,更容易找到最小值点,而不会陷入来回振荡 2.BP网络的学习算法 学习率可变的BP算法: 当误差以减小的方式趋于目标时,说明修正方向是正确的,可以增加学习率; 当误差增加超过一定范围时,说明前一步修正进行地不正确,应减小步长,并撤销前一步修正过程。 拟牛顿法 。牛顿法具有收敛快的优点,但需要计算误差性能函数的二阶导数,计算较为复杂。拟牛顿法只需要知道目标函数的梯度,通过测量梯度的变化进行迭代,收敛速度大大优于最速下降法。拟牛顿法有DFP方法、BFGS方法、SR1方法和Broyden族方法。 3.设计BP网络的方法 1.网络层数。对于大部分应用场合,单个隐含层即可满足需要 2.输入层节点数。输入层节点数取决于输入向量的维数。 如果输入的是的图像,则输入向量应为图像中所有的像素形成的4096维向量。 如果待解决的问题是二元函数拟合,则输入向量应为二维向量。 3.隐含层节点数 。较多的隐含层节点数可以带来更好的性能,但可能导致训练时间过长 。经验公式: BP网络的设计主要包括网络层数、输入层节点数、隐含层节点数、输出层节点数及传输函数、训练方法、训练参数的设置等几个方面。 样本数 输入层结点数 3.设计BP网络的方法 输出层神经元的个数同样需要根据从实际问题中得到的抽象模型来确定。在模式分类问题中,如果共有n种类别,则输出可以采用n个神经元 。 也可以将节点个数设计为 个, 表示最小的不小于 的整数。由于输出共有4种情况,因此采用二维输出即可覆盖整个输出空间,00、01、10和11分别表示一种类别。 输出层神经元个数 传递函数的选择 一般隐含层使用Sigmoid函数,而输出层使用线性函数。如果输出层也采用Sigmoid函数,输出值将会被限制在 0~1或-1~1之间。 3.设计BP网络的方法 训练方法的选择 使用LM算法收敛速度最快,均方误差也较小。 LM算法对于模式识别相关问题的处理能力较弱,且需要较大的存储空间 模式识别问题,使用RPROP算法能收到较好的效果 SCG算法对于模式识别和函数逼近问题都有较好的性能表现。 初始权值的确定 通常将初始权值定义为较小的非零随机值,经验值为 :权值输入端连接的神经元个数 3.设计BP网络的方法 确定以上参数后,将训练数据进行归一化处理,并输入网络中进行学习,若网络成功收敛,即可得到所需的神经网络。 4.BP神经网络的局限性 BP网络具有实现任何复杂非线性映射的能力,特别适合求解内部机制复杂的问题 ,但BP网络也具有一些难以克服的局限性 (1)需要的参数较多,且参数的选择没有有效的方法。隐含层结点个数。 (2)容易陷入局部最优。 (3)样本依赖性。如果样本集合代表性差、矛盾样本多、存在冗余样本,网络就很难达到预期的性能 (4)初始权重敏感性。训练的第一步是给定一个较小的随机初始权重,由于权重是随机给定的,BP网络往往具有不可重现性。 5.BP神经网络应用实例 实现二值逻辑——异或 学习率为0.6,动量因子为0.8,默认最大迭代次数为1000次 采用手算实现基于BP网络的异或逻辑。训练时采用批量训练的方法,训练算法使用带动量因子的最速下降法。 main_xor.m 6.BP神经网络应用实例 分类面 x y %% 清理 clear all clc randn(state,2); %% 参数 eb = 0.01;

文档评论(0)

nuvem + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档