〈新〉第二节 极大似然估计(概率论与数理统计).ppt

* 第七章 第二节 极大似然估计 极大似然原理 一次试验就出现的事件有较大的概率 例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球 现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 答: 第一箱. 问: 所取的球来自哪一箱？ 例6 设总体 X 服从0-1分布,且P (X = 1) = p, 用极大似然法求 p 的估计值. 解 总体 X 的概率分布为 设 x1, x2,…, xn为总体样本X1, X2,…, Xn 的样本值, 则 对于不同的 p , L (p)不同, 见下图 现经过一次试验， 发生了， 事件 则 p 的取值应使这个事件发生 的概率最大. 在容许范围内选择 p ，使L(p)最大 注意到，ln L(p)是 L 的单调增函数,故若 某个p 使ln L(p)最大, 则这个p 必使L(p)最大。 所以 为所求 p 的估计值. 一般, 设 X 为离散型随机变量, 其分布律为 则样本 X1, X2,…, Xn的概率分布为 或 称 L( ) 为样本的似然函数 称这样得到的 为参数 ? 的极大似然估计值 称统计量 为参数 ? 的极大似然估计量 选择适当的? = ,使 取最大值, 即 L( ) 极大似然法的思想 简记 简记 若 X 连续, 取 f (xi,? )为Xi 的密度函数 似然函数为 注1 注2 未知参数可以不止一个, 如?1,…, ?k 设X 的密度(或分布)为 则定义似然函数为 若 关于?1, …, ?k可微,则称 为似然方程组 若对于某组给定的样本值 x1, x2,…, xn， 参数 使似然函数取得最大值, 即 则称 为?1,…, ?k 的极大似然估计值 显然， 称统计量 为?1, ?2,…, ?k 的极大似然估计量 是 的函数，即 例7 设总体 X ~ N (?,? 2), x1, x2,…, xn 是 X 的样本值, 求 ?, ? 2 的极大似然估计. 解 ?, ? 2 的极大似然估计量分别为 似然 方程 组为 极大似然估计方法 1） 写出似然函数 L 2）求出 , 使得 可得未知参数的极大似然估计值 然后, 再求得极大似然估计量. L是 的可微函数,解似然方程组 若 L不是 的可微函数, 需用其它 方法求极大似然估计值. 请看下例： 若 例8 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个样本值, 求 a , b 的极大似然估计值与极大似然估计量. 解 X 的密度函数为 似然函数为 似然函数只有当 a xi b, i = 1,2,…, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大. 令 xmin = min {x1, x2,…, xn} xmax = max {x1, x2,…, xn} 取 则对满足 的一切 a b , 都有 故 是 a , b 的极大似然估计值. 分别是 a , b 的极大似然估计量. 问 题 1) 待估参数的极大似然估计是否一定存在? 2) 若存在, 是否惟一? 设 X ~ U ( a – ?, a + ?), x1, x2,…, xn 是 X的一个样本, 求 a 的极大似然估计值. 解 由上例可知, 当 时, L 取最大值 1, 即 显然, a 的极大似然估计值可能不存在, 也 可能不惟一. 例9 不仅如此, 任何一个统计量 若满足 都可以作为 a 的估计量. 极大似然估计的不变性 设 是? 的极大似然估计值, u(? ) (? ? ? )是? 的函数, 且有单值反函数 ? = ? (u), u?U 则 是 u(? ) 的极大似然估计值. 如 在正态总体N (?,? 2)中, ? 2的极大 似然估计值为 是? 2的单值函数, 且具有单值 反函数，故? 的极大似然估计值为 lg? 的极大似然估计值为