- 1、本文档共27页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
3.4.1-3.4.2最小二乘估计
33.44-最小二乘估计最小二乘估计
33.44--最小二乘估计最小二乘估计
引言引言::
在前面几节里,是通过考虑无偏估计的类型和确
定最小方差来寻找最优和接近最优估计定最小方差来寻找最优和接近最优估计。。
现在我们抛开这些限制,研究另一类估计,这类
估计一般不与最优性质相关,但对于很多估计问题却
很有意义,这就是最小二乘估计。
最小二乘估计是一种相当古老的估计方法,早在
高斯就使用这种方法来研究行星的运行轨迹年高斯就使用这种方法来研究行星的运行轨迹。。
33.44--最小二乘估计最小二乘估计
举例举例::
1.曲线拟合
2.不相容方程组AX b
当 rank (A , b ) ≠ rank (A ) ,即 b ∉ R (A ) ,此时无解。
最小二乘解最小二乘解XX0 的定义的定义 A X − b 22 ≤ AX − b 22
0
33.44--最小二乘估计最小二乘估计
引言引言::
最小二乘估计将估计问题归结为直接利用观测数
据进行最优化处理据进行最优化处理,,其优化准则是使其优化准则是使观测数据观测数据与与假设假设
信号模型之间误差的平方和最小。
这种方法的突出特点是对观测数据不做任何概率
或统计的描述,而仅仅假设一个信号模型,实现容易。
所以,应用非常广泛。
其不足在于它不是最佳的。而且如果没有对数据
的概率结构做某些特定的假设,那么统计性能是无法
评价的评价的。。
33.44--最小二乘估计最小二乘估计
前面我们确定一个好的估计的焦点就是寻找
的估计是无偏的且具有最小方差的估计是无偏的且具有最小方差。。在选择方差作在选择方差作
为“好”的度量中,无疑地是试图使参量的估计
值和真值之间的误差值和真值之间的误差 ((平均平均 ))最小最小。。
在最小二乘 (Least Square,LS)方法中,
是使观测数据和假设信号之间的平方误差最小。
33.44--最小二乘估计最小二乘估计
MMSE: mininum mean square error最小均方误差
MVU: mininum variance unbiased最小方差无偏
BLUE : Best Linear Unbiased Estimator最佳线性无偏估计
CRLB: Cramer‐Rao Lower Bound克拉美‐罗下界
MLEMLE:: MMaxiimum LikLikelihlihoodd EEstitimatition最大似然估计最大似然估计
LSE: Least Square Estimator最小二乘估计
33.44-最小二乘估计最小二乘估计
s [n ]
假设取决于未知参量 的模型产生信号 ,这个
θ
信号信号 ss [[nn ]] 是完全确定的信号是完全确定的信号,,由于观测噪声或模型不准由于观测噪声或模型不准
确,观测到的信号是受干扰的信号,用观测数据x [n ] 表示,
θθ 的最小二乘估计的最小二乘估计 ((LSELSE ))就是选择使就是选择使ss [[nn ]] 最靠近观测数最靠近观测数
x [n ] θ
据 的 值。
33.44--最小二乘估计最小二乘估计
靠近程度用靠近程度用LSLS误差指标来度量误差指标来度量
N −1
文档评论(0)