第四章自适应网络.ppt

学习一门学问，最重要的是把握主干内容，迅速建立对于这门学问的整体概念，不必一开始就考虑所有的细枝末节和特殊情况，自乱阵脚。 理解是人用有限的资源去把握无限 理解的基本特征有两个：其一，理解都是从结构上理解的，就是所谓的结构特征，其二，理解都是全局，也就是整体特征。华罗庚说过，读书有两个过程，先要把书读厚，这是消化的过程，然后再把书读薄，这才是理解的象征。这强调的是整体性。结构性特征告诉我们，要理解一个事物，就要竭力掌握其结构而非大量容易迷惑人的细节。不识庐山真面目，只缘身在此山中，这是阻碍理解力提升的本质原因。在多数情况下，我们都被细节淹没，因此，丧失了理解的可能。 自适应线性元件(Adaline) 由威德罗和霍夫首先提出的，它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。它采用的是W-H学习法则，也称最小均方差(LMS)规则对权值进行训练。 自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。另外，它还适用于信号处理滤波、预测、模型识别和控制。 神经网络的信息分布式存储于连接权系数中, 使网络具有很高的容错性和鲁棒性。 神经网络的信息处理任务主要包括:(1) 数学上的映射逼近。开发一种合适的函数f :A →B,以自组织的方式响应以下的样本集:( x1 , y1) , ( x2 , y2) , , ( xl , yl) (这里yi = f ( xi) 或yi =f ( xi) + n0 , (其中n0 为噪声) )。识别和分类等计算都可以抽象成这样的一种近似的数学映射。(2) 联想记忆。是指实现模式完善,恢复相关模式的相互回忆等。 非线性校正在非电量电测技术中广泛使用着各类传感器, 他们用来将非电量转化为电量。大多数传感器的输出特性是非线性的, 这是由于其转换原理为非线性的.为了使传感器在整个测量范围内的灵敏度是一个常数,即传感器的输入与输出特性是一条直线, 在传统的模拟指示仪表中常采用三种方法: 1) 缩小测量范围,取近似值; 2) 采用非线性指示刻度; 3) 加入非线性校正环节。 假设传感器具有非线性输入与输出特性y = f( x) , 为了实现非线性误差的校正，可使传感器的输出y 通过校正用神经网络。取该环节的特性为z =F ( y ) , 如果令F ( y ) = f-1 ( y ) , 则有z = f-1 ( y ) = x。所以只要知道特性f-1 ()即可消除传感器的非线性。 具体做法是：将浓度传感器的输出视为神经网络的输入y , 而将待测浓度值x作为神经网络的输出, 对神经网络进行训练(用学习迭代方法对神经网络的权值进行修正) , 直至神经网络输出值的估计误差均方值达到足够小, 学习过程才告结束。这时神经网络就可用来作非线性校正预测,其输出即为校正结果z.这种方法在光纤PH 值传感器，色度传感器和电感测微仪的非线性误差校正中也已获得应用。 4.1 自适应线性神经元模型和结构 4.2 W-H学习规则 神经网络方法就是通过训练样本进行学习来拟合出一条分割线（超平面或超曲面），如果这条分割线是一条直线（或平面，或超平面），则称为线性神经网络，否则为非线性神经网络，线性神经网络较好理解，理解了线性神经网络，对于非线性神经网络则能够更易理解，所以这里先以线性神经网络为例来解释神经网络的原理。我们现在要关心的问题是这条分割线是如何计算出来。 感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。感知器算法存在如下问题：不能推广到一般的前向网络中；函数不是线性可分时，得不出任何结果。而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS(Least Mean Square,最小均方误差)算法，由于其容易实现而很快得到了广泛应用。 线性网络的权值和偏置值的更新虽然和感知机类似，但是其原理和感知机有较大的不同。线性网络采用的是其传输函数为一线性函数，虽然他同感知机一样，只能解决线性可分问题，但是线性网络要强大的多，感知机规则能保证将训练模式收敛到一个可正确分类的解上，只有当模式类可分离时才收敛，在不可分的情况下，算法会来回摆动，始终不收敛。而LMS算法使均方误差最小化，从而使网络的边界判定边界尽量适应训练模式。 W-H学习规则 定义一个线性网络的输出误差函数为： 可以看出：线性网络具有抛物线型误差函数所形成的误差表面，所以只有一个误差最小值。通过W-H学习规则来计算权值和偏差的变化，并使网络误差的平方和最小化，总能够训练一个网络的误差趋于这个最小值。我们的目的是通过调节权矢量，使E(W，B)达到最小值。所以在给定E(W，B)后，利用W-H学习规则