极大似然估计法.docVIP

. PAGE . 《概率论与数理统计》 极大似然思想 一般地说，事件与参数有关，取值不同，则也不同．若发生了，则认为此时的值就是的估计值．这就是极大似然思想．看一例子 ： 例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率． 分析：易知的值无非是1/4或3/4．为估计的值，现从袋中有放回地任取3只球，用表示其中的黑球数，则．按极大似然估计思想，对的取值进行估计． 解：对的不同取值，取的概率可列表如下: ０ １ ２ ３ 故根据极大似然思想即知：． 在上面的例子中，是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则就最象那个． 二、似然函数与极大似然估计 1、离散分布场合： 设总体是离散型随机变量，其概率函数为，其中是未知参数．设为取自总体的样本．的联合概率函数为，这里，是常量，是变量． 若我们已知样本取的值是，则事件发生的概率为．这一概率随的值而变化．从直观上来看，既然样本值出现了，它们出现的概率相对来说应比较大，应使取比较大的值．换句话说，应使样本值的出现具有最大的概率．将上式看作的函数，并用表示，就有： （１） 称为似然函数．极大似然估计法就是在参数的可能取值范围内，选取使达到最大的参数值，作为参数的估计值．即取，使 （２） 因此，求总体参数的极大似然估计值的问题就是求似然函数的最大值问题．这可通过解下面的方程 （３） 来解决．因为是的增函数，所以与在的同一值处取得最大值．我们称为对数似然函数．因此，常将方程（３）写成： （４） 方程（４）称为似然方程．解方程（３）或（４）得到的就是参数的极大似然估计值． 如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解． ２、连续分布场合： 设总体是连续离散型随机变量，其概率密度函数为，若取得样本观察值为，则因为随机点取值为时联合密度函数值为．所以，按极大似然法，应选择的值使此概率达到最大．我们取似然函数为 ，再按前述方法求参数的极大似然估计值． 三、求极大似然估计的方法 1、可通过求导获得极大似然估计： 当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值． 例２、设某工序生产的产品的不合格率为，抽个产品作检验，发现有个不合格，试求的极大似然估计． 分析：设是抽查一个产品时的不合格品个数，则服从参数为的二点分布．抽查个产品，则得样本，其观察值为，假如样本有个不合格，即表示中有个取值为１，个取值为０．按离散分布场合方法，求的极大似然估计． 解：（１）写出似然函数： （２）对取对数，得对数似然函数： （３）由于对的导数存在，故将对求导，令其为０，得似然方程： （４）解似然方程得： （５）经验证，在时，，这表明可使似然函数达到最大 （６）上述过程对任一样本观测值都成立，故用样本代替观察值便得的极大似然估计为： 将观察值代入，可得的极大似然估计值为：，其中． 若总体的分布中含有多个未知参数时，似然函数是这些参数的多元函数．代替方程（３），我们有方程组，由这个方程组解得分别是参数的极大似然估计值． 例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从，其中未知．为估计，从中随机抽取根轴，测得其偏差为．试求的极大似然估计． 分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数的似然方程组，从而进行求解． 解：（１）写出似然函数： （２）写出对数似然函数： （３）将分别对求偏导，并令它们都为０，得似然方程组为： （４）解似然方程组得： ， （５）经验证使达到极大， （６）上述过程对一切样本观察值成立，故用样本代替观察值，便得的极大似然估计分别为： ，． ２、不可通过求导方法获得极大似然估计： 当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求的极大值点． 例4、设总体服从均匀分布，从中获得容量为的样本，其观测值为，试求的极大似然估计． 分析：当写出其似然函数时，我们会发现的非零区域与有关，因而无法用求导方法来获得的极大似然估计，从而转向定义（２）直接求的极大值． 解：写出似然函数： 为使达到极大，就必须使尽可能小，但是不能小于，因