神经网络-BP算法.pptVIP

神经网络方法简介与应用 神经网络方法简介与应用 神经网络方法概述 神经网络方法基础（以BP网络为例） 神经网络方法应用举例（人脸和手写数字） 神经网络方法发展前景（功能柱-神经场） 人工神经元的基本构成 人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW 激活函数： f 网络输出： o=f（net） 典型激励函数 γ 典型网络结构 多级网 循环网 基本BP算法——非循环多级网络 基本BP算法 neti=x1w1i+x2w2i+…+xnwni BP网络拓扑结构 BP网络训练过程（1） 样本 权初始化 向前传播阶段 Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n)) 误差测度 BP网络训练过程（2） 向后传播阶段——误差传播阶段 输出层权的调整 ?wpq= αδqop =αfn′ (netq)(yq-oq)op =αoq(1-oq) (yq-oq)op 隐藏层权的调整 基本BP算法实现 1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 4.2 对S中的每一个样本（Xp,Yp）： 4.2.1 计算出Xp对应的实际输出Op； 4.2.2 计算出Ep； 4.2.3 E=E+Ep； 4.2.4 根据相应式子调整W(L)； 4.2.5 k=L-1； 4.2.6 while k≠0 do 4.2.6.1 根据相应式子调整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0 为什么叫BP神经网络 我们最常用的神经网络就是BP网络，也叫多层前馈网络。BP是back propagation的所写，是反向传播的意思。有人比较糊涂，因为一直不理解为啥一会叫前馈网络，一会叫BP（反向传播）网络，不是矛盾吗？其实是这样的，前馈是从网络结构上来说的，是前一层神经元单向馈入后一层神经元，而后面的神经元没有反馈到之前的神经元；而BP网络是从网络的训练方法上来说的，是指该网络的训练算法是反向传播算法，即神经元的链接权重的训练是从最后一层（输出层）开始，然后反向依次更新前一层的链接权重。因此二者并不矛盾，只是我没有理解其精髓而已。 随便提一下BP网络的强大威力：1）任何的布尔函数都可以由两层单元的网络准确表示，但是所需的隐藏层神经元的数量随网络输入数量呈指数级增长；2）任意连续函数都可由一个两层的网络以任意精度逼近。这里的两层网络是指隐藏层使用sigmoid单元、输出层使用非阈值的线性单元；3）任意函数都可由一个三层的网络以任意精度逼近。其两层隐藏层使用sigmoid单元、输出层使用非阈值的线性单元。 【注】参考自《机器学习》 * * 21世纪:?智能科学 ( Nature 409, 2001 ) 胞体(Soma) 枝蔓（Dendrite） 胞体(Soma) ?轴突（Axon） 突触（Synapse） Input signal Synaptic weights Summing function Activation function Local Field v Output o x1 x2 xn w2 wn w1 w0 x0 = +1 一组突触和联结，联结具有权值 W1, W2, …, Wn 通过加法器功能，将计算输入的权值之和 net=∑xiwi 激励函数限制神经元输出的幅度 o=f（net） net o o c 线性函数（Liner Function） f（net）=k*net+c -γ θ -θ net o 非线性斜面函数（Ramp Function） a+b o (0,c) net a c=a+b/2 S形函数 简单单级网 … … x1 x2 … xn o1 o2 on wnm w11 w1m w2m wn1 输出层 输入层 输出层 x1 o1 w11 w1m x2 o2 w2m … … … xn om wn1 输入层 V 单级横向反馈网 输出层 隐藏层 输入层