第二章经典检测和估计理论B.ppt

取等号条件： Fisher信息矩阵： 单参数时：A、 为标量，估计方差下限 C-R界 多参数时：A、 为矢量，估计方差下限： 常用： (2) 随机参数时的估计误差边界： 信息矩阵由两部分组成： ：总信息矩阵； ：Fisher信息阵； ：表示先验信息 2.5 补充 一、线性均方估计 限定结构：线性 观测值： ：白噪声，0均值， 1、准则：最小均方误差 估计误差： 选择m，使得误差 最小 正交投影原理： 采用线性均方估计时，系数m应满足 即满足最小均方误差时，应为在观测空间的投影，误差向量正交于观测空间 2、准则：无偏、最小均方误差估计 根据无偏条件 估计误差： * 经典检测和估计理论 2.4 估计理论 估计的概念：在时间域( , )内对信号参数 进行观测，得到观测值{ , t }的情况下，要求按一定的准则构造一个观测数据的函数 作为 的估计， 称作被估计量或真值， 称作估计量， 称作观测量。 2.4 估计理论 估计准则 估计问题：根据对受噪声污染信号的观测来估计参量、 随机过程或系统特性的一种数学方法。 2.4 估计理论 估计模型： 一、随机参数的Bayes估计（把代价因子变为代价函数） 定义估计误差： 代价函数 ：由于估计产生误差所产生的代价 平方误差代价 绝对误差代价 均匀代价 风险 a：待估计的随机参数（单参数） A：随机参数a的可能取值 ：后验概率 1、平方误差代价函数： 求 使 最小，可令 得 ＝0 得最小平方误差代价的Bayes估计： 是a的可能取值A关于R的后验概率的平均值 对 求导，并令其为0， 是对后验概率 的中值估计 2、绝对误差代价函数： 3、均匀代价函数： 可以看出， 应选在 最大值时，满足： MAP方程： 估计为 称最大后验概率估计 三种估计等效条件： 单峰对称，代价 对称非降 例2： 估计被噪声污染的，随机参数a P58页例2 a是高斯型： n 进行n次观测： 若采用最小方差估计，算出后验概率密度： 已知 代入后验概率密度公式，得： 考虑到 是对任意R下，a的条件概率密度 整理得 为高斯分布，则最小方差估计 为其条件均值： 讨论： 噪声小，参数不确定性大， 测量值可信 信号较确定，噪声很大， 测量值无用 充分统计量 计算条件均值困难，只有高斯假设下有解析解 Gauss下三种代价得出 一样 P62页例3 ① ② ③ ④ ⑤ 二、实参数估计 a非随机，P(A)不存在，Bayes方法不能用 可以修正一下Bayes方法，去掉对A的平均，再考虑使用平方误差准则： 使 最小，得： ，由于A是未知的待估参数，必须用其它方法找出 与测量值R的关系 极大似然估计：ML(Maximum Likelihood Estimation) 回到MAP最大后验概率估计： 对A取导数： 由于没有先验概率可利用，只取第一项： 这样，就得到ML方程： 所得到的估计值 称极大似然估计 所以ML估计相当于先验知识趋于0时的MAP估计，用于：①非随机参数；②均匀分布；③不知道先验分布的情况。 即选这样一个 ，使观测到的r出现的概率最大 取对数后： 定义 三、Cramer-Rao界：估计质量的评定 （1）无偏性 非随机： ，（A为真值） 随机： =E{a} ——称 为A的无偏估计 （2）一致性（收敛性） 收敛于A真值，则 称是A的一致估计 重点掌握 （3）充分性 计算 的时候中用到了观测中关于a 的全部信息 与A无关 （4）有效性 若一个无偏估计 的方差达C-R界，称 为A的有效估计 下面是推导过程 C-R界 推导C-R界（非随机参数情况） 若估计无偏，则 对A求导 其中， 上式可表示为： 利用Schwarz不等式, 取等号条件为： 得： 满足 时取