纯属神经网络.ppt

第五章 线性神经网络 这个算法很重要，原因有两个： 第一：它被广泛应用于现在的信号处理过程中。其中几个应用将在本章介绍。 第二：它是多层网络中BP算法的先驱。 ADALINE 网络与感知器网络非常相似,只 是神经元的传输函数不同而已。 前者是线性传输函数，后者是对称硬极限 传输函数。 单层ADALINE网络和感知器网络一样,只能解决线性可分的问题,但其LMS 学习规则却比感知器学习规则的性能强得多。 因为感知器学习规则训练的网络,其分类的判决边界往往离各分类模式靠得很近,这使得网络对噪声十分敏感; 而LMS学习规则使均方误差最小,从而使判决边界尽可能远离分类模式,增强了网络的抗噪能力。 但LMS算法只适于单层网络的训练,当需要 进行多层网络的设计时,需要寻找新的学习算法, 如第六章将阐述的BP 算法。 5.1 线性神经网络模型 线性神经元和线性神经网络层模型分别 如图5.1、图5.2 所示。 图5.1 线性神经元的一般模型 图5.2 线性神经网络层模型 线性神经元与感知器神经元类似,不同的是性神经元的传输函数为线性函数。线性神经网络层的输出为： 其中W的第i行元素为 线性神经网络层的输出可以取任意值,克服了感知器神经网络的输出只能取0 或1 的不足。另外,一般感知器神经网路是单层的,而线性神经网络可以是多层的。当然,线性网络只能求解线性问题,而不能用于非线性计算,这一点与感知器神经网络是相同的。 ADALINE 是一个自适应可调的网络,适用 于信号处理中的自适应滤波、预测和模型识 别。自适应线性神经元模型如图5.3所示,它 两个输出量, 是模拟输出量, 是数字输出量; 实际应用时,往往还将目标响应 与模拟输出 的误差 作为输出。 图5.3 自适应线性神经元模型 同样,单层线性网络只能进行空间上的线性划分,若以线性神经元构成多层网络,则可实现空间上的非线性划分,此时的模型称之为多个自适应线性元模型(MDALINE )。 5.2 线性神经网络的学习 在某些情况下，对线性神经网络可以不经过训练直接求出网络的权值和阈值,如果网络有多个零误差解,则取最小的一组权值和阈值;如果网络不存在零误差解,则取网络的误差平方和最小的一组权值和阈值。 另外,当不能直接求出网络权值和阈值时, 线性神经网络及自适应线性神经网络可采用 使均方误差最小的学习规则,即 LMS ( least mean Squares )算法。它是一种沿误差的最 陡下降方向对前一步权值向量进行修正的方 法。 对于 个训练样本 LMS ( least mean Squares )算法的基本思想是要寻找最佳的,使各神经元输出的均方误差最小。神经元的均方误差为 式中： ― 训练样本数; ― 神经元输出的实际值; ― 神经元输出的期望(目标)值。 为了寻找最佳的,使每个神经元输出的均 方误差最小,以 代表W或b,求 对 的偏导： 令其等于0,则可以求出 的极值点,当然,极值点可是极大值,也可是极小值,但 只能是正值,即 为曲面一定是凹向上的,所以极值点必为极小值。 可是,按式(5.4) 计算很麻烦,尤其当输向量的维数 很高时。所以通常采用有哪些信誉好的足球投注网站优化法 , 即假设获得第 次训练得到权值或阈值 ,然后找出 曲面上在该点的最陡下降方向,再沿此方向对权值进行修正。 据式(5.1 ) ，对于单个线性神经元