第4章计算智能1剖析.ppt

《人工智能》 第4章 计算智能 4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）。 国内首届神经网络大会是1990年12月在北京举行的。 再认识与应用（1991~） 存在问题： 应用面还不够宽 结果不够精确 存在可信度的问题 对策： 开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。 充分发挥两种技术各自的优势是一个有效方法。 希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 人工神经网络的特点 具有大规模并行协同处理能力。 每一个神经元的功能和结构都很简单，但是由大量神经元构成的整体却具有很强的处理能力。 具有较强的容错能力和联想能力。 单个神经元或者连接对网络整体功能的影响都比较微小。 在神经网络中，信息的存储与处理是合二为一的。信息的分布存提供容错功能–由于信息被分布存放在几乎整个网络中。所以当其中的某一个点或者某几个点被破坏时信息仍然可以被存取。 具有较强的学习能力。 神经网络的学习可分为有教师学习与无教师学习两类。 由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。具有很强的普化（Generalization）能力与抽象能力。 是大规模自组织、自适应的非线性动力系统。 具有一般非线性动力系统的共性，即不可预测性、耗散性、高维性、不可逆性、广泛连接性和自适应性等等。 物理符号系统和人工神经网络系统的差别 2、人工神经网络的基本特性和结构 3、人工神经网络的主要学习算法 1、反向传播(BP)模型 BP算法基本思想 样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 逐一根据样本集中的样本(Xk,Yk)计算出实际输出Ok及其误差E1，然后对各层神经元的权值W(1)，W(2)，…，W(L)各做一次调整，重复这个循环，直到∑Epε（所有样本的误差之和）。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程。 BP算法训练过程概述 样本：(输入向量，理想输出向量) 权初始化：“小随机数”与饱和状态；“不同”的权值保证网络可以学。 1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op：Op=FL(…(F2(F1(XpW(1))W(2))…)W(L)) 2、向后传播阶段——误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 输出层权的调整 其中，?是学习因子。 BP算法应用的不是基本的δ学习，而是一种扩展的δ学习规则。但是对于所有的δ学习规则而言，某神经元的权值修正量都正比于该神经元的输出误差和输入。 BP算法输出层对误差调整为f’(net)(y-o)。 隐藏层权的调整 隐藏层权的调整 δpk-1的值和δ1k，δ2k，…，δmk有关。不妨认为δpk-1 ： 通过权wp1对δ1k做出贡献， 通过权wp2对δ2k做出贡献， …… 通过权wpm对δmk做出贡献。 BP算法中学习规则的理论推导 该算法中δ学习规则的实质是利用梯度最速下降法，使权值沿误差函数的负梯度方向改变。 误差测度方法： 用理想输出与实际输出的方差作为相应的误差测度： 最速下降法(1) 最速下降法(2) 输出层 隐藏层(1) 隐藏层(2) 隐藏层(3) BP算法中的几个问题(1) 收敛速度问题 收敛速度很慢，其训练需要很多步迭代。 局部极小点问题 逃离/避开局部极小点：修改W的初值并不是总有效。 逃离——统计方法；[Wasserman，1986]将Cauchy训练与BP算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。 网络瘫痪问题 在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛。 BP算法中的几个问题(2) 稳定性问题 用修改量的综合实施权的修改 连续变化的环境，它将变成无效的 步长问题 BP网络的收敛是基于无穷小的权修改量 步长太小，收敛就非常慢 步长太大，可能会导致网络的瘫痪和不稳定 自适应步长，