3.4.1-3.4.2最小二乘估计.pdf

33.44-最小二乘估计最小二乘估计 33.44--最小二乘估计最小二乘估计 引言引言：： 在前面几节里，是通过考虑无偏估计的类型和确 定最小方差来寻找最优和接近最优估计定最小方差来寻找最优和接近最优估计。。 现在我们抛开这些限制，研究另一类估计，这类 估计一般不与最优性质相关，但对于很多估计问题却 很有意义，这就是最小二乘估计。 最小二乘估计是一种相当古老的估计方法，早在 高斯就使用这种方法来研究行星的运行轨迹年高斯就使用这种方法来研究行星的运行轨迹。。 33.44--最小二乘估计最小二乘估计 举例举例：： 1.曲线拟合 2.不相容方程组AX b 当 rank (A , b ) ≠ rank (A ) ，即 b ∉ R (A ) ，此时无解。 最小二乘解最小二乘解XX0 的定义的定义 A X − b 22 ≤ AX − b 22 0 33.44--最小二乘估计最小二乘估计 引言引言：： 最小二乘估计将估计问题归结为直接利用观测数 据进行最优化处理据进行最优化处理，，其优化准则是使其优化准则是使观测数据观测数据与与假设假设 信号模型之间误差的平方和最小。 这种方法的突出特点是对观测数据不做任何概率 或统计的描述，而仅仅假设一个信号模型，实现容易。 所以，应用非常广泛。 其不足在于它不是最佳的。而且如果没有对数据 的概率结构做某些特定的假设，那么统计性能是无法 评价的评价的。。 33.44--最小二乘估计最小二乘估计 前面我们确定一个好的估计的焦点就是寻找 的估计是无偏的且具有最小方差的估计是无偏的且具有最小方差。。在选择方差作在选择方差作 为“好”的度量中，无疑地是试图使参量的估计 值和真值之间的误差值和真值之间的误差 （（平均平均 ））最小最小。。 在最小二乘 （Least Square，LS）方法中， 是使观测数据和假设信号之间的平方误差最小。 33.44--最小二乘估计最小二乘估计 MMSE:  mininum mean square error最小均方误差 MVU： mininum variance unbiased最小方差无偏 BLUE ： Best Linear Unbiased Estimator最佳线性无偏估计 CRLB： Cramer‐Rao Lower Bound克拉美‐罗下界 MLEMLE：： MMaxiimum LikLikelihlihoodd EEstitimatition最大似然估计最大似然估计 LSE： Least Square Estimator最小二乘估计 33.44-最小二乘估计最小二乘估计 s [n ] 假设取决于未知参量 的模型产生信号 ，这个 θ 信号信号 ss [[nn ]] 是完全确定的信号是完全确定的信号，，由于观测噪声或模型不准由于观测噪声或模型不准 确，观测到的信号是受干扰的信号，用观测数据x [n ] 表示， θθ 的最小二乘估计的最小二乘估计 （（LSELSE ））就是选择使就是选择使ss [[nn ]] 最靠近观测数最靠近观测数 x [n ] θ 据 的 值。 33.44--最小二乘估计最小二乘估计 靠近程度用靠近程度用LSLS误差指标来度量误差指标来度量 N −1