北航硕士研究生数理统计A1课件05.ppt

第五讲 估计量的优良性准则（续） 一、一致最小方差无偏估计（续） 二、信息不等式 三、相合估计 定义4.6 如果 都有 渐近无偏估计。 （Asymptotic Unbiased Estimate） 例如对证态总体 ， 我们知道 是总 体方差 的有偏估计， 且 这样有 定义4.7 如果存在无偏估 使得 成立， 则称 为 的 渐近有效估计。 (Asymptotic Efficient Estimate) 例如 由于 所以 ～ 即 而Cramer-Rao下界为 是有效估计。 但是 需要说明的是 当UMVUE的方差较大时， 方差小 的有偏估计也不失为一个好的估计。 引例 假设掷一枚硬币， 出现正面的概率是 ， 出现反面的概率为 。 为了估计正面出 现的概率 ， 做 次独立重复试验， 即将硬币 反复掷 次， 令 * 一、一致最小方差无偏估计（续） 二、信息不等式 三、相合估计 定理4.3(Lehmann-Scheffe) 无偏估计， UMVUE， 注： Lehmann-Scheffe定理实际上给出了两 种寻找UMVUE的方法， （1） （2） 但首先必须知 即寻找完全充分统 计量的函数使之成为 的无偏估计。 例4.5 样本。 解 首先求完全充分统计量。 由于 所以由 定理4.2可知完全充分统计量为 且是完全充分统计量 的函数， 知时， 的UMVUE为 。 故当 未 无论 是已知或未知， 注： 又 的函数， 例4.6 注： 解 由因子分解定理可知 它是充分统计量。 由于 下证它也是完全的。 这个只 又因为 UMVUE。 在上一节，我们知道如果UMVUE存在， 则它在无偏估计类中是最好的， 且其方差不可 能是零， 不是无偏估计。 因为参数 的方差为零的平凡估计 那么，现在的问题是： 对 的无偏估计类 ， （1） 既然无偏估计的方差不是零， 在一定的条件下， 一个下界， 则必存在 这个下界到底是多少？ （2） 若UMVUE存在，那么它的方差是否可以 达到这个下界？ 问题（1）已由Cramer-Rao不等式（信息不 等式）揭示； 问题（2）不一定成立， 我们举例 予以阐述。 为了使问题简化，在这一小节中，我们仅讨 单参数和连续总体情况。 对多参数及离散总体 也有相应结论，可参看《高等数理统计学》 （茆诗松），或《线性统计推断及应用》 （C.R.Rao）。 （1） （2） Cramer-Rao正则族： 分可交换次序， 即 当仅有（1）成立时，我们可以定义所谓的 Fisher 信息量（Fisher Information Number） 例4.7 设总体分布是Poisson分布族， 即 则 因而 可以证 明 ， 定理4.4(Cramer-Rao or Information Inequality ) 的统计量， 如果分布族是 Cramer-Rao正则族， 则对所 证明 由于对所有 ， 等式两边对求导可得 有 有 又因为对所有的 ， 等式两边对求导可得 即就是 这样就有 从而有 由Schwarz Inequality 有 而 所以有 即就是 在信息不等式中，下界通过 依赖于 因它是的 数学期望， 也就是说对 不同的统计量而言，下界是变化的。 如果将此 有 特别地， 有 通常称量 为Cramer-Rao下界。 注意：（1）在以上三个不等式中 的密度函数或分布率。 通常将 看成一次观察所能获得的关于 参数 的信息， 即一个观测值 所含 的信息， 那么 就表示样本 所含 的信息。 （2） 在将定理4.4应用于无偏估计类 时， 一定要注意定理的条件是否满足。 Cramer 在1946年举例说明当定理的条件不满足时， 存在这样的无偏估计， 其方差小于信息不等 式的下界。 这个例子为： 取充分统计量 作为参数 的估计， 通过取其数学期望可获得参数的无偏估计为 则有 其具体证明过程课后自己完成。 对无偏估计类而言， 了方差的下界， 那么UMVUE方差是否一定取 既然信息不等式给出 得这个下界？ 我们用下述例子说明不一定。 例4.8 一个简单样本。 试求参数 的UMVUE， 并 证明其方差大于信息不等式的下界。 解 由于 由定理4.2知完全充分统计量为 ， 所