现代信号处理07现代信号处理07.doc

§6-4最小均方算法(Least Mean Square) 最小均方算法又称LMS算法。它是在线性在自适应处理中调整权值的一种最简单的算法。这种算法适合于前面讨论的非递归自适应滤波器或线性组合器，不需要离线方式的梯度估值，因而是使用方便的重要算法。 6.4.1最小均方算法的推导 对非递归自适应滤波器的结构，基本形式有两种，一种是多输入（并联）形式（如图6-15）；另一种是横向滤波器结构形式（图6-19）。 对以上两种系统，其误差为： X(k)——输入样本向量。 该系统在自适应过程每次迭代时，其梯度估值为： 式中，e(k)对权的倒数可直接从式(6-112)中得到。 采用这个简单的梯度估值，导出一种与最速下降法类似的自适应算法。这种算法把下一时刻的权系数向量W(k+1)等于现时刻的权系数向量W(k)加上一项比例于负的均方误差的梯度估值，由（6－48）式 μ 为控制自适应速度与稳定性的增益常数。 由于每次迭代权的改变基于不准确的梯度估值，它将不会严格地在性能表面上沿着真实的最速路径下降，可见自适应过程是带噪的。 这种算法是从梯度向量的每个分量有单个数据样本得到，不需扰动权向量。不用平均，梯度分量肯定包含了一个大的噪声成分。但是，自适应过程，相当于一个低通滤波器的作用，因而随时间的增长，噪声是逐渐衰减的。 (6-114)式的信号流图 6.4.2 权向量的收敛性 若在平稳输入条件下，两次迭代时间足够长，则其输入向量为不相关的。由式（6-114）可见，权向量W(k)仅是过去输入向量X(1),X(2),…,X(k)的函数。因为各次输入向量是不相关的，则W(k)与X(k)也是不相关的。满足上述条件，可以证明，经过多次迭代后，权向量的期望值E[W(k)]将收敛于式（6-42）表示的维纳最优解，即。 证明：将式6-114）两边取数学期望，则 将式（6-42）代入（6-115），则 由式（6-89），则 式中，V’—— W在主轴坐标中的权向量； ——R的对角化特征值矩阵； V’（0）——在主轴坐标中的初始权向量。 当 则 当迭代次数无限增加时，权系数向量的数学期望值收敛于维纳解。 仅当 满足时，上式收敛才能保证。式中，为最大特征值，即为中的最大对角元素。 6.4.3权向量解的噪声 若N(k) 表示第k次迭代时梯度估值的噪声向量，如式（6-96），则 假如LMS算法运行时，采用一个小的自适应增益常数μ?，并且过程已收敛到稳态权向量处附近，则式（10-122）中将接近零。梯度噪声将逼近于 此时，噪声的协方差为： 假如权向量?W(k)保持在他们的最优权附近，由式（6-56）知，与输入信号向量近似不相关，所以上式可改写为： 将上式转换到主轴坐标系，令，则 利用式（10-104），可直接求出在主轴坐标系中权向量的协方差： 实际应用时，的元素一般是远小于1的，因此，可在式（6-127）中忽略项，即： 因而，回到原坐标系，权向量解的噪声近似由下式给出： 6.4.4失调 所谓失调，定义为在自适应中，超量均方误差与最小均方误差之比，它是自适应过程跟踪真正维纳解接近程度的量度，自适应能力代价的量度。 由式（6-108），则 若具有n个元素，而为对角矩阵，式（6-130）可表示成 假如自适应过程暂态已经结束。均方误差已接近“碗底”，上式中就是式（6-128）中的的一个元素，则可得到： 由此结果，结合式（6-111）的定义，失调为 称为矩阵R的迹(Trace of matrix)，等于矩阵R的主对角线元素之和，即R的全部特征根之和。 不难看出，失调正比于自适应增益系数μ，也称为学习速率,显然，学习速率μ大，能提高滤波器的收敛速度，但系统的稳态性能就会下降；反之，学习速率μ小，滤波器的收敛速度慢，但系统的稳态性能就会增高，因此，失调与自适应速率必须折中考虑。关于学习速率μ的选择，人们提出了许多方法，如Robbins等于1951年提出的随机逼近法。最简单的方法为时变速率法，即 式中，c为常数，这种选择常称为模拟退火法则，需要注意的是，若参数c比较大，可能在经过若干迭代后即陷于发散。 更好的方法是在暂态即过度阶段使用大的学习速率μ，而在稳态使用小的学习速率μ，系数学习速率μ参数的这种选择称为换档变速方法。例如，“固定＋时变”的学习速率就是典型的换档变速方法。下面给出两个典型例子。 第一个例子是使用所谓的“先有哪些信誉好的足球投注网站、后收敛”的法则（1992，Darken C,Moody J E. Towards faster stochastic gradient search） 式中为一固定的学习速率参数，而表示一“有哪些信誉好的足球投注网站时间常数”，由上式可以看出，这种法则在的迭代时间内使用近似固