第八章参数估计.doc

第八章 参数估计 统计推断是数理统计的重要组成部分,它包括统计估计和假设检验两类基本问题.统计估计是根据样本的信息对总体分布的概率特性（如分布类型、参数等）作出估计,统计估计又分为参数估计和非参数估计,本章只讨论参数估计问题. 在实际问题中,经常遇到随机变量(即总体)的分布函数的形式已知,但它的一个或者多个参数未知的情形,此时写不出确切的概率密度函数.若通过简单随机抽样,得到总体的一个样本观测值,我们自然会想到利用这一组数据来估计这一个或多个未知参数.诸如此类,利用样本去估计总体未知参数的问题,称为参数估计问题.参数估计问题有两类,分别是点估计和区间估计. 第一节 点估计的概述 用一个数值估计某个参数,这种估计就是点估计.比方说我们要考察某医院新出生婴儿的男女比例,抽查了100个婴儿,按后估计出这个比例值为0.83,这个比值就是“比例”这个未知数的点估计值. 定义8.1 设总体的分布函数形式已知,其中是待估计的参数,点估计问题就是利用样本,构造一个统计量来估计,我们称为的点估计量,它是一个随机变量.将样本观测值代入估计量,就得到它的一个具体数值,这个数值称为的点估计值. 一、矩估计法 矩估计法的基本思想是用样本矩估计总体矩. 因为由大数定理知, 当总体的阶矩存在时,样本的阶矩依概率收敛于总体的阶矩. 我们假设总体的分布函数为,其中是待估参数.若总体为连续型随机变量,设密度函数为；若总体为离散型随机变量,设分布律为.是来自总体的样本.假设总体的1阶至阶原点矩都存在,则有 （为连续型） 或 （为离散型） （其中是所有可能取值的集合）.一般来说,他们是的函数.根据样本矩依概率收敛于总体矩,样本矩的连续函数依概率收敛于总体矩的连续函数,我们可以用样本矩作为总体矩的估计量,而样本矩的连续函数作为总体矩的连续函数的估计量.即 得方程组 解得 称为的矩估计量,这种方法称为矩估计法. 相应的估计值称为矩估计值,矩估计量与矩估计值统称为矩估计. 例8.1 设总体服从区间上的均匀分布,即密度函数为 其中未知,是来自总体的样本,求的矩估计量. 解 令 解之得的矩估计量为 例8.2 设总体服从泊松分布,参数未知,是来自总体的一个样本,求参数的矩估计量. 解 总体的1阶原点矩即数学期望为 用样本的1阶原点矩（即样本均值）代替总体的1阶原点矩得方程 所以的矩估计量为 . 矩估计法的优点是简单易行,并不需要事先知道总体服从什么分布.缺点是当总体类型已知时,没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.其主要原因在于建立矩估计法方程时,选取那些总体矩用相应样本矩代替带有一定的随意性. 二、最大似然估计法 先通过一个例子了解一下最大似然估计的基本思想.某同学与一位猎人一起去打猎,一只野兔从前方窜过, 只听一声枪响, 野兔应声倒下, 试猜测是谁打中的? 由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率, 故一般会猜测这一枪是猎人射中的. 这个例子所作的推断已经体现了最大似然法的基本思想 ：一次试验就出现的事件有较大的概率.即在已经得到实验结果的情况下, 应该寻找使这个结果出现的可能性最大的那个作为的估计. 下面分别就离散型总体和连续型总体情形作具体讨论. 离散型总体的情形: 设总体的概率分布为 其中为未知参数. 如果是取自总体的样本,样本的观察值为,则样本的联合分布律 对确定的样本观察值,上式是未知参数的函数, 记为,并称其为似然函数. 连续型总体的情形: 设总体X的概率密度为,其中为未知参数,此时定义似然函数 . 似然函数的值的大小意味着该样本值出现的可能性的大小, 在已得到样本值的情况下, 则应该选择使达到最大值的那个 作为的估计. 这种求点估计的方法称为最大似然估计法. 定义8.2 若对任意给定的样本值, 存在 , 使 则称为的最大似然估计值.称相应的统计量为最大似然估计量. 它们统称为的最大似然估计. 由定义可知,求参数的最大似然估计问题,就是求似然函数的最大值点的问题.因此可以对似然函数关于求导.又由于和有相同的最大值点,故只需求的最大值点即可.这样往往会给计算带来很大方便.在一般情况下, 在最大值点的一阶偏导数为零,此时只需解最大似然方程组 即可得参数的最大似然估计. 例8.3 设随机变量服从泊松分布,即分布律为 . 其中是未知参数,求的最大似然估计. 解 设是样本的一组观测值.于是似然函数为 两边取对数得对数似然函数为 令 解方程得 从而得出最大似然估计为 . 例8.4 设是来自正态总体的样本,其中是未知参数.求的最大似然估计. 解 由已知得样本的似然函数为