数理统计课件：极大似然估计.pptx

;3.3.1极大似然估计的基本思想;极大似然估计方法首先是由德国数学家高斯在1821年提出的.;引例3.3.1某位同学与一位猎人一起外出打猎.;令X为打一枪的中弹数，则X~B(1,p),p未知.

设想我们事先知道p只有两种可能:;当兔子中弹，即{X=1}发生了;根据样本观察值，选择参数p的估计，使得样本在该样本观察值附近出现的可能性最大.;这个例子确定的基本想法是:;说明：虽然参数p可取参数空间?中的所有值，但在给定样本观察值x1,x2,…,xn后，不同的p值对应样本X1,X2,…,Xn取x1,x2,…,xn的邻域的概率大小也不同，既然在一次试验中观察到X1,X2,…,Xn取值x1,x2,…,xn，因此有理由认为X1,X2,…,Xn落入x1,x2,…,xn的邻域中的概率较其它地方大.;设总体X为离散型，其分布列为;设x1,x2,…,xn是样本X1,X2,…,Xn的一个观察值，则样本X1,X2,…,Xn取x1,x2,…,xn的概率为;已经得到了观察值x1,x2,…,xn，它是哪一个θ所确定的总体(或分布)产生的?;设总体X为连续型，其密度函数为f(x,?),;设x1,x2,…,xn是样本X1,X2,…,Xn的一个观察值，则样本X1,X2,…,Xn落在x1,x2,…,xn的邻域内的概率为;若;定义3.3.1(似然函数)

设总体X的密度函数(或分布列)为f(x,?),其中未知参数

=(?1,?2,…,?k)?Θ?Rk,X1,X2,…,Xn是来自总体X的样本，

则样本X1,X2,…,Xn的联合密度函数(或联合分布列)为;称;注：似然函数和联合密度函数(或联合分布列)是同一表达式，但是表示两种不同含义.;例3.3.1设罐子里有许多黑球和红球.假定已知它们的比例是1:3，但不知道是黑球多还是红球多.也就是抽出一个黑球的概率或者是1/4或者是3/4.如果有放回的从罐子中抽n个球，要根据抽样数据，估计抽到黑球的概率是多少.;解:;因此分布族为;当X=(X1,X2,…,Xn)给定时，似然函数为;由上表可见;因此得出结论：;;定义3.3.2(极大似然估计);1.用微积分中求极值的方法;又因为L(?)与lnL(?)在同一?处取得极值，因此?=(?1,?2,?,?k)的极大似然估计也可由下述方程组解得;求极大似然估计(MLE)的一般步骤是：;因此，求极大似然估计首先求似然方程的解;因此求出似然方程的解后，要验证它为?的极大似然估计，

有时并非易事.;似然函数为;因此，若样本分布族为指数族，只要似然方程的解属于自然参数空间的内点集，则解必为??的极大似然估计.;如二项分布族，Poisson分布族，几何分布族，

正态分布族，Gamma分布族等都是指数族，

定理的条件都成立.;2从定义出发求;极大似然估计的不变性;例3.3.2设X1,X2,…,Xn是来自总体X的样本，且X~B(1,p),其中0p1是

未知参数，x1,x2,…,xn是样本的一个观察值，求参数p的极大似然估计.;对数似然函数为;对数似然方程;似然函数为：;解得?的极大似然估计值为;解：;解得?的极大似然估计值为;解：;解得?的极大似然估计值为?;例3.3.6设X1,X2,…,Xn是来自总体X的样本，且X~N(μ,σ2),其中μ,σ2为未知参数，，x1,x2,…,xn是样本的观察值，

求参数μ，σ2，μ/σ2及σ的极大似然估计.;对数似然函数为;解得μ,σ2的极大似然估计值为;由极大似然估计的不变性，可得μ/σ2及σ的极大似然估计为;解：X的密度函数为;对数似然方程组为;设;对于满足θ1≤x(1),x(n)≤θ2，的任意θ1,θ2有;θ1,θ2的极大似然估计量为：;设x(n)=max(x1,···,xn);对于满足0≤x(n)≤θ，的任意θ有;设x(1)=min(x1,···,xn)，x(n)=max(x1,···,xn)，;对于满足x(n)－1≤θ≤x(1)的任意θ;例3.3.10为估计某湖泊中鱼数N，自湖中捕出r条鱼，做上标记后都放回湖中，经过一段时间后再自湖中同时捕出s条鱼，结果发现其中x条标有记号，试根据此信息估计鱼数N的值.;因为该问题只有一个样本观察值，故似然函数为;故当rsxN，即Nrs/x时，L(N)L(N-1);1矩估计法只要求总体矩存在，对总体分布要求较少.;作业：