参数估计的最小二乘方法-北方工业大学电子邮件系统.doc

第二章 动态过程数学模型参数估计的最小二乘方法Least Squares §2—１静态线性模型参数的最小二乘估计（多元线性回归） 一、什么是最小二乘估计 例： y = ax + ( 其中：y、x 可测；( — 不可测的干扰项； a —未知参数。通过 N 次实验，得到测量数据 yk 和 xk k = 1、2、3 …，确定未知参数 a 称“参数估计”。 使准则 J 为最小 ： 令：( J ( ( a = 0 , 导出 a = ? 称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss于 1792年提出。 二、多元线性回归 线性模型 y = a0+ a1x1+(+ anx n + ( 式(2 - 1- 1) 引入参数向量: ( = [ a0,a1, (a n ]T (n+1)(1 进行 N 次试验，得出N 个方程： yk = (kT ( + (k ; k=1、2…、N 式(2 -1- 2) 其中：(k = [ 1,x1,x2,(,x N ] T (n+1) (1 方程组可用矩阵表示为 y = ( ( + ( 式（2 -1- 3） 其中：y = [ y1,y2, 。。。,y N ] T (N (1) ( = [ (1, (2, 。。。,( N ] T (N (1) N ((n+1) 估计准则： 有： = （y — ( (）T( y — ( () (1(N) ( N(1) J = yTy + (T (T ( ( -yT ( ( - (T (T y = yTy + (T (T ( ( - 2 (T (T y 式（2 -1- 4） 假设：（(T (）(n+1)(n+1) 满秩，由 利用线性代数的以下两个矩阵对向量求偏导数的公式: 和 有: 和 所以: 解出参数估计向量： ( Ls =（(T (）-1 (T y 式（2 -1- 5） 令：P = （(T (）-1 则参数估计向量 ( Ls = P (T y 参数估计向量 ( Ls 被视为以下“正则方程”的解： （(T (）( = (T y 式（2 -1- 6） 注：为了便于区别, 我们用红体字符表示估计量或计算值，而用黑体表示为参数真值或实际测量值。 三、关于参数最小二乘估计 ( Ls 性质的讨论 以上求解参数最小二乘估计 ( Ls 时并为对{ (k }的统计特性做任何规定，这是最小二乘估计的优点。当{ (k }为平稳零均值白噪声时，则 ( Ls 有如下良好的估计性质： 参数最小二乘估计 ( Ls 是 y 的 线性估计 ( Ls = P (T y 是 y 的线性表出； b) 参数最小二乘估计 ( Ls 是无偏估计，即 E ( Ls= ( （参数真值） [ 证明 ]：E ( Ls= E[ P (T y ]= P (T E( y ) = P (T E ( (( + ( ) = P (T ( ( + E( ( ) = ( + 0 = ( 最小二乘估计 ( Ls 的估计误差协方差阵是 (2P (n+1)(n+1) 即：E [ ( ( Ls- ( ) ( ( Ls- ( )T ] = (2P [ 证明 ]：E [ ( ( Ls - ( ) ( ( Ls - ( )T ] = E [ P (T ( y - ( () ( y- ( ()T (P ] = E [ P (T ( (T (P ] = P (T E ( ( (T) (P = P (T (2 IN(N (P = (2P 若{ (k }为正态分布零均值白噪声时，则 ( Ls 是线性无偏最小方差估计（证明从略）。如若{ (k }是有色噪声，则 ( Ls 不具有上述性质，即为有偏估计。四、最小二乘估计 ( Ls 的的几何意义和计算问题 1。最小二乘估计的几何意义最小二乘估计的模型输出值为 yk = ( kT ( Ls k = 1,2,…N 输出实际测量值与模型输出值之差叫残差： (k = yk – yk 模型输出向量为 y = ( ( Ls ，而残差向量为： ( = y – y = y – ( ( Ls (T ( k = (T y – (T (（(T (）-1 (T y = (T y – (T y = 0 即残差向量 ( 与由测量数据矩阵