第9讲 自适应线性元件.ppt

第二篇 神经网络 7.神经网络简介 8.感知器 9.自适应线性元件 10.反向传播网络 9 自适应线性元件 自适应线性元件(Adaptive Linear Element， 简称Adaline )也是早期神经网络模型之一，它与感知器的主要不同之处在于其神经元有一个线性激活函数， 这允许输出可以是任意值， 而不仅仅只是像感知器中那样只能取0或1. 另外它来用的是W-H 学习法则， 也称最小均方差(LMS)规则对权值进行训练， 从而能够得到比感知器更快的收敛速度和更高的精度. 自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。另外，它还适用于信号处理滤波、预测、模型识别和控制. 9.1自适应线性神经元模型和结构 9.2W-H 学习规则 W-H 学习规则是由威德罗和霍壳提出的用来修正权矢量的学习规则. 采用W-H 学习规则可以用来训练一层网络的权值和偏差使之线性地逼近一个函数式而进行模式联想( Pattern Association ) . 定义一个线性网络的输出误差函数为 线性网络具有抛物线型误差函数所形成的误差表面，所以只有一个误差最小值。通过W-H 学习规则来计算权值和偏差的变化并使网络误差的平方和最小化，且能够训练一个网络的误差趋于这个最小值. 根据梯度下降法，权矢量的修正值正比于当前位置上E(W,B)的梯度， 对于第i个输出节点有 W.H 学习规则的函数为learnwh.m 来实现， 另外，加上线性自适应网络输出函数purelin.m ，可以写出W-H 学习规则的计算程序 A =purelin(W*P+B); E=T- A; dW = learnwh ([],P,[] ,[] ,[] ,[],E, [] ,[] ,[],lr,[]); dB = learnwh (B,ones(1,Q) ,[] ,[] ,[] ,[], E, [] ,[] ,[],lr,[]); W=W +dW: B=B+ dB; 采用W-H 规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的，且应适当地选择学习速率以防止产生振荡现象. 9.3网络训练 自适应线性元件的网格训练过程可以归纳为以下三个步骤 1 )表达计算训练的输出矢量A= W*P+B，以及与期望输出之间的误差E=T-A 2 )检查将网络输出误差的平方和与期望误整相比较.如果其值小于期望误差， 或训练已达到事先设定的最大训练次数.则停止训练.否则继续， 3 )学习果用W-H 学习规则计算新的权值和偏差，并返回到1 ) 。 每进行一次上述三个步骤，认为是完成一个训练循环次数. 如果经过训练，网络仍不能达到期望目标，可以有两种选择：或检查一下所要解诀的问题， 是否适用于线性网络， 或对网络进行进一步的训练. 采用MATLAB 进行自适应线性元件网络的训练过程如下 A = purelin ( W*P+B); E=T-A; SSE=sumsqr( E ); %求误差平方和 For epoch =1 : max_epoch if SSE err_goal epoch = epoch -l; break end dW = learnwh ([],P,[] ,[] ,[] ,[],E, [] ,[] ,[],lr,[]); dB = learnwh (B,ones(1,Q) ,[] ,[] ,[] ,[], E, [] ,[] ,[],lr,[]); W=W +dW: B=B+ dB; A=purelin(W*P+B); %网络输出 E=T-A; SSE=sumsqr( E ); 同样，利用创建线性网络函数newlin.m，再利用工具箱中的train.m可以替代上述整个训练过程。调用net=newlin(minmax(P),S,[0],lr)时已默认其权值的学习法则为W-H. 例1.设计自适应线性网络实现从输入矢量到输出矢量的变换关系.其输入矢量和输出矢量分别为:P = [1.0 -1.2]; T= [0.5 1.0] 解:用自适应线性网络求解问题时，设计者要确定期望误差值以及最大循环次数.对此题可分别选0.001和20. %wf1.m P=[1 -1.2]; T=[0.5 1]; [R,Q]=size(P); [S, Q] = size (T); lr=0.4*maxlinlr(P); net=newlin(minmax(P),S,[0],lr); net.inputWeights{1,1}.initFcn=rands; net.biases{1}.initFcn=rands; net=init(net); W0=net.iw{1,1} B0=net.b{1} net.trainParam.epochs=20; net.trainParam.goal=