课件1-2 智能系统课件知识讲稿.ppt

误差反向传播的流程图与图形解释 图1.16 误差反向传播法的图形解释 BP算法要用到各层激活函数的一阶导数，所以要求其激活函数处处可微 对于对数S型激活函数 其导数为 对于线性函数的导数有：其导数为 BP网络的训练及其设计过程 根据具体的问题给出的输入矢量P与目标矢量T，并选定所要设计的神经网络的结构，其中包括以下内容： ①网络的层数； ②每层的神经元数； ③每层的激活函数。 BP网络的训练步骤 1）用小的随机数对每一层的权值W和偏差B初始化，以保证网络不被大的加权输入饱和；并进行以下参数的设定或初始化： a)期望误差最小值mse； b)最大循环次数； c)修正权值的学习速率lr，一般情况下 lr = 0.01 ~ 0.7； 2）用函数newcf.m或newff.m建立一个多层前向网络，例如： net = newcf(minmax(P),[5 1],{tansig purelin},traingd); 3）可以用net = train(net,P,T)来训练网络 【例1.6】用于函数逼近的BP网络的设计。 下面给出一个典型的用来进行函数逼近的两层结构的神经网络，它具有一个双曲正切型的激活函数隐含层，其输出层采用线性函数。 这里有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系。 P = -1 : 0.1 :1; T = [ -0.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 ... -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 ... 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201 ]; 选择隐含层神经元为5，较复杂的函数需要较多的隐含层神经元，这可以根据试验或经验来确定。 以目标矢量相对于输入矢量的图形 初始网络的输出曲线 赋值，定义训练参数并进行训练 net=newcf(minmax(P),[5,1],{tansig,purelin},traingd); %创建两层前向回馈网络 net.trainParam.epochs=7000; %初始化训练次数 net.trainParam.goal=9.5238e-004; % mse = 9.5238e-004 = sse/(Q*S2) = 0.02/21 [net,tr]=train(net,P,T); %训练网络 Y=sim(net,P) ; %计算结果 plot(P,T,ro) %画输入矢量图 算法traingd.m的缺省参数 net.trainParam.epochs = 10; % 最大训练次数 net.trainParam.goal = 0； % 训练误差性能指标（MES） net.trainParam.lr = 0.15； % 学习速率 net.trainParam.max_fail = 5；% 最大确认失败数 net.trainParam.min_grad = 1e-10； % 最小执行梯度 net.trainParam.show = 25； % 显示循环间隔数 net.trainParam.time = inf； % 最大训练时间 训练1000次的结果 训练2000次的结果 训练3000次的结果 训练5000次的结果 1.2 自适应线性元件 1.2.1 自适应线性神经元模型和结构 (a) Adaline (b) Madaline 图1.11 自适应线性神经网络的结构 线性激活函数使网络的输出等于加权输入和加上偏差，如图1.12所示。此函数的输入/输出关系为： (a) 没有偏差的线性激活函数 (b) 带有偏差的线性激活函数 图1.12 线性激活函数 自适应线性元件的几何解释 如果以（单）输入矢量为横坐标，网络（单）输出为纵坐标，那么，自适应线