BP神经网络理论基础相关介绍.ppt

BP神经网络基本原理 Back-propagation Artificial Neural Networks;人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW;激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） f（net）=k*net+c ; γ if net≥θ f（net）= k*net if |net|θ -γ if net≤-θ ? γ0为一常数，被称为饱和值，为该神经元的最大输出。 ;*; β if netθ f（net）= -γ if net≤ θ β、γ、θ均为非负实数，θ为阈值 二值形式： 1 if netθ f（net）= 0 if net≤ θ 双极形式： 1 if netθ f（net）= -1 if net≤ θ ;β ;生物神经网六个基本特征 神经元及其联接、信号传递、训练、刺激与抑制、累积效果、 阈值。 人工神经元的基本构成;激活函数与M-P模型 线性函数、非线性斜面函数、阈值函数 S形函数 M-P模型;*;W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+…+xnwnj 其中, 1≤ j ≤ m。取 NET=（net1，net2，…，netm） NET=XW O=F（NET）;*;V=（vij） NET=XW+OV O=F（NET） 时间参数神经元的状态在主时钟的控制下同步变化 考虑X总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1)) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定;*;层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息;第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号;约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。;*;非线性激活???数 F(X)=kX+C F3(F2(F1(XW(1))W(2))W(3));*;如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地加强、被修复。 大脑的短期记忆特征:看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。 ;人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程;无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。;有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一训练。 有导师学习的训练算法的主要步骤包括： 1）? 从样本集合中取一个样本（Ai，Bi）； 2）? 计算出网络的实际输出O； 3）? 求D=Bi-O； 4）? 根据D调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 ;Widrow和Hoff的写法： Wij(t+1)=Wij(t)+α(yj- aj(t))oi(t) 也可以写成： Wij(t+1)=Wij(t)+Wij(t) Wij(t)=αδjoi(t) δj=yj- aj(t) Grossberg的写法为： Wij(t)=αai(t)(oj(t)-Wij(t)) 更一般的Delta规则为： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t));1 概述 2 基本BP算法 3 算法