神经网络及其应用-北京师范大学精品课程网.ppt

崔丽 数学科学学院 2011.7.11;神经细胞(神经元) 轴突是信号的输出通路； 树突是信号的输入通路； ;信号从一个神经细胞经过突触传递到另一个细胞是一个相当复杂的生物物理及生物化学过程。 信号传递过程有两个效果：激发态和抑制态 ——接受信号的一方电位升高，或者电位降低 由处于激发态的神经细胞产生的脉冲输出，通过神经末梢传向下游的每一个与之相连的神经元，不同的下游神经元，信号引起的电位变化不同，因而引起不同的反应——不同的神经元之间有不同的作用强度(连接强度) 神经元之间的连接强度并不是一成不变的，两个神经元之间的连接强度，随着激发与抑制行为相关性的时间平均值正比变化。;一个神经网络是一个由简单处理单元构成的规模宏大的并行分布式处理器。天然具有存储经验知识和使之可用的特性。神经网络在两方面与人脑相似。 1.神经网络获取的知识是从外部环境中学习得来的。 2.互连神经元的连接强度，即突触权值，用于存储获取的知识。 用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变网络的突触权值以获得想要的设计目标;非线性性 输入输出的映射 适应性 容错性;聚类分析，信号分类 非线性函数拟合 回归预测分析 建模自变量的降维;神经元是神经网络操作的基本信息处理单位。 神经元模型的基本元素： 突触或者连接链；加法器；激活函数。;; 突触权值， 激活函数， 输入信号的线性组合器的输出， 偏置， 输出。;突触权值：一般有一个范围； 加法器：加权和——线性组合器； 激活函数：用于限制神经元输出振幅。它也称为压制函数。由它将输出信号压制到允许的范围之内的一定值。 注意：偏置bk的作用是根据其为正还是负，相应的增加或者降低激活函数的网络输入。也就是模仿神经细胞的激活抑制阈值。 ;1.阈值函数： 2.分段线性函数： 3.Sigmoid函数：;单层前馈网络；多层前馈网；递归网络。;;信号前向传递 误差反向传递 即： 每一层的神经元状态只影响下一层神经元状态 如果输出层得不到期望输出，则转入反向传播 根据预测误差??整突触权值和偏置 从而使BP神经网络预测输出不断逼近期望输出;三层网络结构：输入层，隐含层，输出层 网络节点数：输入层 隐含层 输出层 连接权值 隐含层的激活函数f。 激活阈值;隐含层输出 神经网络输出 误差的能量 ;应该满足的方程： 最速下降法——求E(w)的极小(局部)： 从任何一个初始点 出发，计算在该点的负梯度方向 ，这是函数在该点下降最快的方向； 只要 就可以沿着该方向移动一小步，达到一个新点 是一个参数——学习率，只要它足够小，能保证 不断重复，一定能到达E的一个(局部)极小值点。 ;能量： 修正量 ;1.网络初始化： 网络输入节点数n, 隐含层节点数l，输出节点数m； 初始化连接权值 ；初始化偏置（阈值）a,b; 给定学习速率和神经元激活函数； ;2.隐含层的输出计算. 根据输入向量X,输入层和隐含层间连接权值wij及隐含层阈值a，计算隐含层输出H。 其中l是隐含层节点数；f为隐含层的激活函数， ——Sigmoid函数。 性质：f’(x)=f(x)(1-f(x));3.输出层输出计算。 根据隐含层输出H，连接权值 和阈值b，计算BP神经网络预测输出 。 4.误差计算 根据网络预测输出 与期望输出Y，计算网络预测误差e。 ;5.权值更新。 6.阈值更新。 根据网络预测误差e更新网络节点阈值a，b。 7.判断算法迭代是否结束，若没有结束，返回步骤2. ;1.隐含层节点数： 最佳隐含层节点选择，参考如下公式： 其中a为0~10之间的常数。确定节点数的大概范围，然后用试凑法确定最佳节点数。 2.激活函数选择： 3.变学习率 4.最速下降法，考虑经验的积累，即以往权值的变化——附加动量法。 ;将数据转化为[0,1]之间。 1）最大最小法 2）平均数方差法 ;命令：mapminmax [inputn,inputps] =mapminmax(input_train); inputn归一化的数据，inputps归一化得到的结构体，包含数据的最大值，最小值和平均值等信息。 测试数据的归一化和反归一化。 input_test =mapminmax(‘apply’, input_test, inputps);%归一化 Bpoutput =mapminmax(‘reverse’, an,outputs); %反归一化。 ;包括的网络有感知器，线性网络，BP神经网络，径向基网络，自组织网络和回归网络等。 B