参数估计极大似然法.ppt

* 极大似然估计法 极大似然原理的直观想法是:一个随机试验如有若干个可能的结果A,B,C,….若在一次试验中,结果A出现, 则一般认为A出现的概率最大,也即试验条件对A出现有利.或者说在试验的很多可能条件中，认为应该是使事件A发生的概率为最大的那种条件存在. 极大似然估计的基本思想 例：假若一个盒子里有许多白球和红球,而且已知它们的数目之比是3:1,但不知是白球多还是红球多.设随机地在盒子中取一球为白球的概率是p.如果有放回地从盒子里取3个球,那么白球数目X服从二项分布 如果样本中白球数为0,则应估计p=1/4,而不估计p=3/4.因为具有X=0的样本来自p=1/4的总体的可能性比来自p=3/4的总体的可能性要大.一般当X=0,1时,应估计p=1/4;而当X=2,3时,应估计p=3/4. 极大似然估计法的思想： 设总体X的密度函数为f(x,?)，?为未知参数，则 样本（X1,X2,…,Xn）的联合密度函数为 令 参数?的估计量 ，使得样本（X1,X2,…,Xn）落在观测 值 的邻域内的概率L(?)达到最大，即 则称 为参数?的极大似然估计值。 令 求极大似然估计的一般步骤归纳如下： 例:设随机变量X服从泊松分布: 其中λ0是一未知参数,求λ的极大似然估计. 解 设(x1,x2,…,xn)是样本 (X1,X2,…,Xn)的一组观测值.于是似然函数 两边取对数得 从而得出λ的极大似然估计量为 解这一方程得 解 总体X服从参数为λ的指数分布，则有 所以似然函数为 取对数 令 解得λ的极大似然估计值为 极大似然估计量为 例:设(X1,X2,…,Xn)是来自正态总体N(μ,σ2)的一个样本,其中μ,σ2是未知参数,参数空间Θ={-∞ μ ∞, σ2 0}.求μ与σ2的极大似然估计. 解 正态分布的似 然函数为 两边取对数得 由微积分知识易验证以上所求为μ与σ2的极大似然估计. 分别求关于μ与σ2的偏导数,得似然方程组 解这一方程组得 * 在实际问题中，经常遇到随机变量X（即总体X）的分布函数的形式已知，但它的一个或者多个参数未知的情形，此时写不出确切的概率密度函数.若通过简单随机抽样，得到总体X的一个样本观测值，我们自然会想到利用这一组数据来估计这一个或多个未知参数.诸如此类，利用样本去估计总体未知参数的问题，称为参数估计问题.参数估计问题有两类，分别是点估计和区间估计. 设总体X的分布函数形式已知，其中θ是待估计的参数，点估计问题就是利用样本，构造一个统计量来估计θ，我们称为θ的点估计量，它是一个随机变量。将样本观测值代入估计量，就得到它的一个具体数值，这个数值称为θ的点估计值. 例: 设总体X服从泊松分布，参数λ未知，是来自总体的一个样本，求参数λ的矩估计量. 例: 设总体X服从参数为λ的指数分布，其中参数λ未知，是来自总体的一个样本，求参数λ的矩估计量. 例: 设总体X的均值μ和方差都存在，且，但μ和均未知，又设是来自总体的一个样本，求μ和的矩估计量. 解得μ和的矩估计量分别为 X 0 1 2 3 P=1/4时P{X=k} 27/64 27/64 9/64 1/64 P=3/4时P{X=k} 1/64 9/64 27/64 27/54 定义:设总体X的分布类型已知,但含有未知参数θ. (1)设离散型总体X的概率分布律为，则样本的联合分布律 称为似然函数，并记之为. (2) 设连续型总体X的概率密度函数为，则样本的联合概率密度函数 仍称为似然函数，并记之为. 定义: 设总体的分布类型已知,但含有未知参数θ. 设为总体X的一个样本观察值，若似然函数在处取到最大值，则称为θ的极大似然估计值. 设为总体X的一个样本,若为θ的极大似然估计值, 则称为参数θ的极大似然估计量. 设总体的分布类型已知,但含有未知参数θ.设为总体X的一个样本观察值，若似然函数关于θ可导. 解此方程得θ的极大似然估计值, 从而得到θ的极大似然估计量. 因为与具有相同的最大值点 解方程也可得θ的极大似然估计值和θ的极大似然估计量. 设总体的分布类型已知,但含有多个未知参数，这时总体的概率函数为.设为总体X的一个样本观察值,若似然函数 将其取对数,然后对求偏导数,得 该方程组的解,即为的极大似然估计值. 例：设总体X服从参数为λ的指数分布，其中λ未知，为从总体抽取一个样本，为其样本观测值，试求参数λ的极大似然估计值和估计量. （1）求似然函数； （2）求出及方程； （3）解上述方程得到极大似然估计值 . （4）解上述方程得到极