多层感知器汇总.ppt

二、多层前馈网络与BP算法 Perceptron是由单层神经元构成的神经网络，δ学习规则只适用于单层神经网络和线性可分的训练模式。 在Perceptron的基础上加入了隐含层，形成了多层前馈网络MFNN（Multilayer Feedforward NN），也有称其多层感知器（MLP，Multilayered Perceptron）。 其训练算法就是著名的误差反向传播算法（BP，Error Back Propagation）。 采用BP算法的MFNN是使用最广泛的神经网络，有时也称其为BP神经网络。 1. 多层前馈网络的结构 1）多层前馈网络的组成 全连接的网络，由输入层，隐含层，输出层组成 输入层：仅起信息传递作用，激活函数相当于恒等函数。 输出即为输入， 第一隐含层：由W(1)与输入层全连接。 第二隐含层：由W(2)与第一隐含层全连接。 激活函数： 输出层：由W(3)与第二隐含层全连接。激活函数可以是线性 函数或S函数。函数逼近多用线性函数。 2) 多层前馈网络的结构特点 （1）同一层神经元间无连接。 （2）相邻两层神经元之间全连接。 （3）信息传递有方向性。 前向计算时，由输入向输出逐层计算。 误差反向传播用以修正连接权时，则反向计算。 2. BP算法 1）算法推导 考虑第二隐含层 所以 2）标准BP算法权值调整 3）带动量项修正的BP算法 为使学习率μ足够大，又不产生振荡，通常在标准BP算法上再加上一个动量项。 (3) 计算网络各层实际输出 (4) 计算训练误差 输出层 隐含层 (5) 修正权值和阈值 (6) 所有样本集都经历了（3）-（5）步，计算 (7)若 E≤ε，训练结束。否则转（2） 4）BP网络的MATLAB构建 使用MATLAB的Neural Network Toolbox可以很方便搭建BP网络。 ① 构建函数： a： 维矩阵， 由R维输入样本的最大最小值组成； b： 隐层、输出层节点个数； c： 各层节点作用函数； d： 训练用函数，若BP算法为：Traingd。 构建的BP神经网络权值、阈值均为随机数。 ② 设置权值、阈值函数为常值及随机数函数： 常值 net.iw{1,1} net.b{1} net.lw{2,1} net.b{2} 随机数 w=net.inputweights{1,1}.initFcn=‘rands’ b=net.biases{1}.initFcn=‘rands’ ③ 网络仿真函数： y=sim(net,u) % 由(三维)输入向量的最大、最小值，构建BP网络 clear all; close all; %---构建BP网络结构：N3,4,2（3输入，隐层4节点，2输出） net=newff([0.5 1; 0.3 0.9; 1 2], [4,2], {logsig, purelin}, traingd); w1=net.iw{1,1} %观测BP网1-2层的权值、阈值 b1=net.b{1} w2=net.lw{2,1} %观测2-3层的权值、阈值 b2=net.b{2} u=[1; 0.5; 1.2] %输入一个向量 y=sim(net,u) %观测输出 5）BP网络逼近非线性函数 非线性函数： BP网络：N1,3,1。隐层取S函数，输出取线性函数。权值训练取L-MBP。 训练样本集：u=-0.5:0.05:0.45, d=f(u)，样本对长度L=20。 测试数据集：u1=-0.48:0.05:0.47,d1=f(u1)，样本对长度L=20。 % 逼近非线性函数 d=f(u)=exp(-1.9(u+0.5))sin(10u)