人工神经网络算法.ppt

人工神经网络理论的现状及发展人工神经网络简称为神经网络或称作连接模型，早在1943年，心理学家McCulloch和数学家Pitts合作提出形式神经元的数学模型（称之为MP模型），从此开创了神经科学理论研究的时代；1957年Rosenblatt提出的感知器(Perception)模型，它由阈值性神经元组成，试图模拟动物和人脑的感知和学习能力.神经网络几乎与AI同时起步，但30余年来却并未取得人工智能那样巨大的成功，中间经历了一段长时间的萧条。直到80年代，获得了关于人工神经网络切实可行的算法，以及以VonNeumann体系为依托的传统算法在知识处理方面日益显露出其力不从心后，人们才重新对人工神经网络发生了兴趣，才是神经网络理论得到复兴。到目前为止，已经出现许多神经网络模型及相应的学习算法。其中误差逆传播（ErrorBack-propagation）算法（简称BP算法）是一种较常用的算法。人工神经网络可用于对物群的目标拟合、模式分类和预测。神经网络基本结构——神经元人工神经网络结构和基本原理基本上是以人脑的组织结构和活动规律为背景，它反映料人脑的某些基本特征，是人脑的某些抽象、简化或模仿。神经网络有许多并行运算的功能简单的单元组成，每个神经元有一个输出，它可以连接到许多其它神经元，每个神经元输入有多个连接通路，每个连接通路对应一个连接权系数。X1X2Xnymy2输入层节点y1隐层节点输出层节点这个算法的学习过程，由正向传播和反相传播组成，在正向传播过程中，输入信息从输入层经隐单元层逐层处理，并传向输入层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望得输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号减小，然后再转入正向传播过程，反复迭代，直到误差小于给定的值为止。BP网络的学习过程主要由四部分组成：输入模式顺传播、输出误差逆传播、循环记忆训练、学习结果判别。PARTONE（1）输入模式顺传播添加标题根据神经元模型原理，计算中间层各神经元的激活值：01添加标题（j=1，2，…p）02添加标题式中：wij--输入层至中间层连接权；03添加标题-中间层单元阀值；04添加标题P—中间层单元数。05这里之所以选S型函数作为BP神经元网络的激活函数是因为它是连续可微分的，而且更接近于生物神经元的信号输入形式。激活函数采用S型函数，即阀值在学习过程中和权值一样也不断的被修正。同理可求出输出端的激活值和输出值。设输出层第t个单元的激活值为则设输出层第t个单元的实际输出值为则（t=1,2,…,q）(2)输出误差的逆传播在第一步的模式顺传播计算中我们得到了网络的实际输出值，当这些实际输出值与希望的输出值不一样时或其误差大于所限定的数值时，就要对网络进行校正。这里的校正是从后向前进行的，所以叫做误差逆传播，计算时是从输出层到中间层，再从中间层到输入层。

（3）循环记忆训练

为使网络的输出误差趋于极小值。对于BP网输入的每一组训练模式，一般要经过数百次甚至上万次的循环记忆训练，才能使网络记住这一模式。这种循环记忆训练实际上就是反复重复上面介绍的输入模式顺传播和输出误差逆传播过程，使网络记住训练过程中权值的变化。学习结果的判别开始连接权及阀值初始化学习模式对提供给网络计算中间层各单元的输入、输出计算输出层各单元的输入、输出计算输出层各单元校正误差计算中间层各单元的校正误差调整中间层至输出层之间的连接权及输出层各单元的输出阀值调整输入层至中间层之间的连接权及中间层各单元的输出阀值误差∈或学习次数n学习结束是否