- 1、本文档共9页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
参数估计基本理论
PAGE
PAGE 9
第3章 参数估计的基本理论
信号检测:通过准则来判断信号有无;
参数估计:由观测量来估计出信号的参数;
解决1)用什么方法求取参数,2)如何评价估计质量或者效果
严格来讲,这一章研究的是参数的统计估计方法,它是数理统计的一个分支。
推荐两本参考书高等教育出版社《数理统计导论》,《Nonlinear Parameter Estimation》。
我们首先从一个估计问题入手,来了解参数估计的基本概念。
估计的基本概念
估计问题
对于观察值是信号和噪声叠加的情况:
其中是信号的参数,或就是信号本身。若能找到一个函数,利用可以得到参数的估计值,相对估计值,称为参数的真值。则称为参数的一个估计量。记作。
在上面的方程中,去掉n实际上是一个多元方程求解问题。这时,如果把n看作是一种干扰或摄动,那么就可以用解确定性方程的方法来得出。但是我们要研究的是参数的统计估计方法,所以上面的描述并不适合我们的讨论。下面给出估计的统计问题描述。(点估计)
设随机变量具有某一已知函数形式的概率密度函数,但是该函数依赖于未知参数, ,称为参数空间。因此可以把的概率密度函数表示为一个函数族。表示随机样本,其分布取自函数族的某一成员,问题是求统计量,作为参数的一个估计量。
以上就是用统计的语言给出的参数估计问题的描述。
关于“统计量”的定义:不依赖于未知参数的一元(或多元)随机变量的函数。统计量的两个特征:1,随机变量的函数,因此也是随机变量;2,不依赖于未知参数,因此当我们得到随机变量的一组抽样,就可以计算得到统计量的值。
例3-1:考虑由,给定的观测样本。
其中是未知参数,为噪声,取自分布。
容易得到服从分布,s的一个估计值是:
如果未知,则它的一个估计量为:
有时估计结果会以这样的形式给出:s以95%的置信度位于区间中。我们称其为区间估计。区间估计量也可以直接计算得到,而不必先计算点估计量。
当我们以某种函数形式给出估计量以后,是不是任务就结束了呢?还有一个任务是:建立一些准则或者性能指标来评价估计的质量。
估计的偏差和无??性
若是参数的估计值,则定义估计的偏差为:
(3-1)
即估计值的均值与真值的差。若估计偏差,即,则估计是无偏估计。这里隐含假定是存在的。
无偏性定义:
定义:是的一个无偏估计,若在所有可能的样本范围内的平均值等于的真值,即
(3-2)称为无偏估计,否则为有偏估计。
在有偏估计中,如果随着样本数的不断增大,偏差趋向于0,即: 则该估计称为渐进无偏估计
让我们分析例3-1的无偏性,注意数学期望是一个线性算子。
如果噪声是零均值的,即,或对所有有,则是的一个无偏估计。
从数理统计这门课,我们知道样本方差对于方差是有偏的,因为无偏估计量是。但是样本方差是渐进无偏的。
直觉上,一个好的估计量应当具有无偏性,但是实际上完全的无偏性通常是达不到的,只能希望小的偏差。而且估计的偏差也不是特别地的重要,因为估计误差不仅仅是偏差。估计的偏差和估计误差不是一回事,偏差只代表估计量的系统误差。
都是s的无偏估计量,系统误差都为零。接下来,要研究估计误差的另一个性质——估计的方差,它反映了估计量的随机误差大小。
估计的方差和Cramer-Rao(克拉美-劳)不等式
估计的方差:
方差:估计值相对于均值的分散程度。即越大就越发散,反之越小就越集中。
任何无偏估计方差的下界叫做C-R下界
用它来衡量估值方差的最小值。下面给出的定理是克拉美-劳定理的精简版。
定理:若是参数的一个无偏估计,是观测值X()的联合条件概率密度,若存在,则该估计的方差存在一个下界,即
(3-3)
这个不等式就被称为克拉美-劳不等式,此下界被称为是估计方差的 C-R下界。
式中等式在下述条件下是成立的:
(3-4)
其中是与参数有关与观测值无关的正函数。
这里把参数当作随机变量。如果其真值是客观存在的未知常数,怎么去理解?我们将参数空间,分成若干个子空间(或子集),认为将以不同的概率落入不同的子空间当中。如果实在理解不了,可以看做是。
证明 :由于是参数的一个无偏估计,有:即
而可以写成为:
,表示
所以:
对参数求偏导:
由于有关系式:
则可以得:
根据:
有:
根据Schwarz不等式得:
即:
由于
则有:
而
所以(3-3)的不等式成立
同时,当且仅当
即:
其中是与参数有关而与观测值无关的系数时,(3-3)的等式成立。
定理给出了无偏估计最小方差的计算公式。克拉美
文档评论(0)