ch3克拉美罗下界.pptx

第3章Cramér-Rao Lower Bound （CRLB、CRB） 柏业超 南京大学电子科学与工程学院 引言 观测：x[0]=A+w[0], w[0]~N(0,σ2) 哪种情况下可能估计的更准？ 引言 如何衡量一种估计方法的好坏？ 均方误差如果观测数据中夹杂噪声，估计值是否会无限精确？ 若不能无限精确，估计性能跟什么有关？ CRLB定理——标量 假定PDF p(x;θ)满足正则条件 其中期望是对p(x;θ)求取的。那么，任何无偏估计量的方差必定满足 其中导数是在θ的真值处计算的，期望是对p(x;θ)求取的。 当且仅当 时，对所有θ达到下限的无偏估计量可以求得。 这个估计量就是 ，它是MVU估计量，最小方差为1/I(θ)。 Fisher信息I(θ) CRLB定理——标量 证明 正则条件讨论： x[n],n=0,1,…N-1,IID，且服从U[0, θ]。 例子 观测：x[n]=A+w[n], n=0,1,…,N-1，IID w~N(0,σ2Ｉ) 例子 观测：x[n]=A+w[n], n=0,1,…,N-1，IID w~N(0,σ2) I(θ) MVU估计量 性质 性质一、 性质二、如果一个样本的Fisher信息为I1(θ)，N个IID样本的Fisher信息I(θ) =N∙I1(θ) 参数变换 α=g(θ)的CRLB 如直流电平观测的例子中，求A2的CRLB CRLB定理——矢量 假定PDF p(x;θ)满足正则条件 其中期望是对p(x;θ)求取的。那么，任何无偏估计量的协方差矩阵满足 其中导数是在θ的真值处计算的，期望是对p(x;θ)求取的。 当且仅当 时，对所有θ达到下限的无偏估计量可以求得。 这个估计量就是 ，它是MVU估计量，最小方差为I-1(θ)。 作业 例3.13 距离估计 x[0]=A+w[0], w[0]~N(0,σ2) 讨论有偏、无偏，MSE有无可能小于CRLB