最优估计第二章最小二乘法最优估计第二章最小二乘法.pdf

第二章 最小二乘法 最小二乘法（Least Squares Methods ）始于 1785 年，德国数学家高斯（Gauss K F ）建立了最小二乘 法的基本概念，并应用于小行星“谷神星”轨道的天文学计算中。他指出“未知量最可能的值应当使乘 以衡量精确数值的实际观察值与计算值差的平方和最小”，并给出了辩识问题的公式、解和应用。此后， 最小二乘法被广泛深入地研究，用于处理各种技术问题。从 20 世纪 60 年代起，最小二乘法在动态过程 辩识，或控制系统参数估计领域起着重要作用。 最小二乘法是一种基于使误差平方和最小的方法。它简单、易于理解、便于应用，是学习其他参数 估计方法的基础。 §1 最小二乘法的数学推导 考虑最小二乘问题： m 2 2 min F (x ) fi (x ) f (x ) 2 (LSP) x i 1 其中 f (x ) (f 1(x ), , f m (x ))T ，m n 。我们分别在f (x ) 为线性向量函数和非线性向量函数时对问 题(LSP)进行讨论。 1.1 线性情况 设 f (x ) 为线性向量函数，即f (x ) Ax b ，其中A 是m n 的列满秩矩阵，b 是 n 维向量。这时 的(LSP)为： 2 min F (x ) Ax b 2 (1.1.1) x 2 T T T T T T 则F (x ) Ax b x A Ax 2b Ax b b 。因此，由F (x ) 2A Ax 2A b 0 ，得 * T 1 T x (A A) A b (1.1.2) 2 T 由于 F (x ) A A 0 正定(说明：B C 表示矩阵(B-C)正定，B C 表示矩阵(B-C)半正定，类似有 符号“ ”和“”) ，因此F (x ) 是严格凸函数，(1.1.2)是(1.1.1)的最优解。 *1.2 非线性情况 设 f (x ) 为非线性向量函数。x k 是当前迭代点，将 f (x ) 在 x k 处线性展开： f (x ) f (x k ) f (x k )T (x x k ) f (x k )T x ( f (x k )T x k f (x k )) (x ) 记 A f (x k )T ，bk f (x k )T x k f (x k ) A x k f (x k ) k