最小方差无偏估计UMVUE.pptVIP

TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计TianjinNormalUniversity数理统计第六章第三节最小方差无偏估计一、Rao-Blackwell定理二、最小方差无偏估计三、Cramer-Rao不等式一、Rao-Blackwell定理优良的无偏估计都是充分统计量的函数.将之应用在参数估计中可得:其中等号成立的充要条件为X与(Y)几乎处处相等.定理1:设X和Y是两个r.v.,EX=μ,VarX0,令则有是样本,是θ的充分统计量,定理2:设总体的概率函数为p(x;θ),对θ的任一无偏估计注:定理2表明:若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小.即,考虑点估计只需在充分统计量的函数中进行,这就是—充分性原则.令θ=p2,则为θ的无偏估计.因为是充分统计量,由定理2,从而可令可得故为θ的无偏估计.且例1.设为来自b(1,p)的样本,求p2的U.E为p的充分统计量解：前已求过:进一步改进：定义:注：一致最小方差无偏估计是一种最优估计.由定理2,只要它存在.它一定是充分统计量的函数.一般地,若依赖于充分统计量的无偏估计只有一个,它一定是UMVUE.Problem：无偏估计的方差是否可以任意小?如果不能任意小,那么它的下界是什么?二、最小方差无偏估计是总体X的样本,定理3:(UMVUE准则)设如果对任一个满足是θ的任一无偏估计,例2:设为来自Exp(1/θ)的样本,则为θ的充分统计量,证明:为θ的UMVUE.反之亦成立.1、Fisher信息量的定义.三、罗-克拉美（Cramer–Rao）不等式(1)?是实数轴上的一个开区间;设总体X的概率函数为p(x;?),???,且满足条件:正则条件(1)I(θ)越大,总体分布中包含未知参数的信息越多。例3:设总体为Poisson分布，即注：例4:设总体为指数分布Exp(1/θ)，即(2)I(?)的另一表达式为注：1常见分布的信息量I(?)公式2两点分布X~b(1,p)3泊松分布4指数分布5正态分布6设总体X的概率函数为p(x;?),???,满足上面定义中的条件；x1,….,xn是来自总体X的一个样本,T(x1,….,xn)是g(?)的一个无偏估计.2、定理4(Cramer-Rao不等式):的微分可在积分号下进行，即则有特别地对θ的无偏估计有上述不等式的右端称为C-R下界,I(?)为Fisher信息量.注:(1)定理对离散型总体也适用.只需改积分号为求和号。(2)在定理4条件下,若g(?)的无偏估计量T的方差VarT达到下界,则T必为g(?)的最小方差无偏估计.但是它不一定存在,也就是说,C-R不等式有时给出的下界过小.(3)当等号成立时,T为达到方差下界的无偏估计,此时称T为g(θ)的有效估计。有效估计一定是UMVUE.（反之不真）3.有效估计定义:定义:注:综上,求证T是g(?)的有效估计的步骤为:例5.设总体X~Exp(1/θ),密度函数为为X的一个样本值.求?的最大似然估计量,并判断它是否为达到方差下界的无偏估计,即有效估计.为参数解:由似然函数经检验知?的