极大似然估计课件.pptVIP

極大似然估計極大似然法是在總體類型已知條件下使用的一種參數估計方法.它首先是由德國數學家高斯在1821年提出的,GaussFisher然而，這個方法常歸功於英國統計學家費歇.費歇在1922年重新發現了這一方法，並首先研究了這種方法的一些性質.極大似然法的基本思想先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應聲倒下.你就會想，只發一槍便打中,獵人命中的概率一般大於這位同學命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經體現了極大似然法的基本思想.極大似然估計原理：當給定樣本X1,X2,…Xn時，定義似然函數為：設X1,X2,…Xn是取自總體X的一個樣本，樣本的聯合密度(連續型）或聯合概率函數(離散型)為f(X1,X2,…Xn;).f(X1,X2,…Xn;)似然函數：極大似然估計法就是用使達到最大值的去估計.稱為的極大似然估計（MLE）.看作參數的函數，它可作為將以多大可能產生樣本值X1,X2,…Xn的一種度量.f(X1,X2,…Xn;)(4)在最大值點的運算式中,用樣本值代入就得參數的極大似然估計值.求極大似然估計(MLE)的一般步驟是：(1)由總體分佈導出樣本的聯合概率函數(或聯合密度);(2)把樣本聯合概率函數(或聯合密度)中自變量看成已知常數,而把參數看作引數,得到似然函數L();(3)求似然函數L()的最大值點(常常轉化為求lnL()的最大值點)，即的MLE;兩點說明：1、求似然函數L()的最大值點，可以應用微積分中的技巧。由於ln(x)是x的增函數，lnL()與L()在的同一值處達到它的最大值，假定是一實數，且lnL()是的一個可微函數。通過求解所謂“似然方程”：可以得到的MLE.若是向量，上述方程必須用似然方程組代替.2、用上述求導方法求參數的MLE有時行不通，這時要用極大似然原則來求.兩點說明：下麵舉例說明如何求極大似然估計L(p)=f(X1,X2,…Xn;p)例1設X1,X2,…Xn是取自總體X~B(1,p)的一個樣本，求參數p的極大似然估計.解：似然函數為:對數似然函數為：對p求導並令其為0，=0得即為p的MLE.正態總體N(?,?2)兩個未知參數?和?2的極大似然估計.(注:我們把?2看作一個參數)解:例2似然方程組為根據第一式,就得到:代入第二式,就得到:由上,似然方程組的解唯一.下麵驗證它是極大值點.是L(?,?2)的最大值點.∴?和?2的極大似然估計量是總體泊松分佈X～P(?).求:參數?的極大似然估計.解:例3似然方程為是logL(?)的最大值點.∴?的極大似然估計量是總體均勻分佈X～U(a,b).求:兩個參數a,b的極大似然估計解:例4我們由上看到,L(a,b)作為a和b的二元函數是不連續的.所以我們不能用似然方程組來求極大似然估計,而必須從極大似然估計的定義出發,求L(a,b)的最大值.為使L(a,b)達到最大,b－a應該儘量地小.但b又不能小於max{x1,x2,?,xn}.否則,L(a,b)=0.類似地a不能大過min{x1,x2,?,xn}.因此,a和b的極大似然估計為解：似然函數為對數似然函數為例5設X1,X2,…Xn是取自總體X的一個樣本求的極大似然估計.其中0,