第三章 多维随机变量及其分布 - 统计学优秀教学团队.doc

第六章 参数估计 §6.1 点估计的几种方法 6.1.1 替换原理和矩法估计 一、矩法估计 替换原理：(1)用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩；(2)用样本矩的函数去替换相应的总体矩的函数。举例 二、概率函数已知时未知参数的矩法估计 设总体具有已知的概率函数，是未知参数或参数向量，是样本，假定总体的阶原点矩存在，则对所有，都存在，若假设能够表示成的函数，则可给出诸的矩法估计： 其中是前个样本原点矩：，进一步，如果要估计的函数，则可直接得到的矩法估计。 例1 设总体为指数分布，其密度函数为 ， 是样本，此处，由于，亦即，故的矩法估计为 另外，由于，其反函数为，因此，从替换原理来看，的矩法估计也可取为 ， 样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。 例2设是来自上的均匀分布的样本，与均是未知参数，这里 其密度函数为 ， 求，的矩估计. 解 由 得方程组： 解此方程组，得到矩估计量: 6.1.2最大似然估计 定义6.1.1 设总体的概率函数为，，其中是一个未知参数或几个未知参数组成的参数向量，是参数可能取值的参数空间，是来自该总体的样本，将样本的联合概率函数看成的函数，用表示，简记为， 称为样本的似然函数。如果某统计量满足 则称是的最大似然估计，简记为MLE。 注意：(1)常常使用对数似然函数，因为其与似然函数具有相同的最值。 (2)求导是最常用的求最值的方法。 例3 设一个试验的三种可能结果，其发生概率分别为 ，， 现做了n次试验，观测到三种结果发生的次数分别为，，(++=n)。则似然函数为 其对数似然函数为 将之关于求导并令其为0得到似然方程 解之，得 由于 所以为极大值点。 例4 设样本x1，x2，…，xn来自正态总体X ( N ((，( 2)，((，( 2)是二维参数，未知，求其的极大似然估计。 解 似然函数为 于是对数似然函数为 解之得 易验证，为L((，( 2)得最大值点。因此，的极大似然估计值为 求导无法解决的问题，如下例。 例5 设是来自均匀分布的样本，试求的最大似然估计。 解 似然函数为 要使达到最大，首先一点是示性函数取值应该为1，其次是尽可能大。由于是的单调减函数，所以的取值就尽可能小，但示性函数为1决定了不能小于，由此给出了的最大似然估计：。 最大似然估计的不变性：如果是的最大似然估计，则对任一函数，其最大似然估计为。 例6 设是来自正态总体N ((，( 2)的样本，在前例中已经求得了参数的最大似然估计为 于是由最大似然估计的不变性可得如下参数的最大似然估计，它们是 概率的MLE为 总体0.90分位数的MLE是，其中是标准正态分布的0.90分位数。 §6.2 点估计的评价标准 6.2.1 相合性 定义6.2.1 设为未知参数，是的一个估计量，是样本容量，若对任何一个，有 则称为参数的相合估计。 注意：相合性一般可以应用大数定律或直接由定义、依概率收敛的性质来证。 例1 设是来自正态总体的样本，则由辛钦大数定律及依概率收敛的性质知： (1)是的相合估计； (2)是的相合估计 (3)也是的相合估计 由此可见，参数的相合估计不止一个。 定理6.2.1 设是的一个估计量，若 。 则为的相合估计。 例2 设是来自均匀总体的样本，证明的最大似然估计是相合估计。 证明 由上一节知，的最大似然估计是。由次序统计量的分布，我们知道的分布密度函数为 故有 由定理知，是的相合估计。 定理6.2.2 若分别是的相合估计，是的连续函数，则是的相合估计。 注意：(1)样本均值是总体均值的相合估计； (2)样本标准差是总体标准差的相合估计； (3)样本变异系数是总体变异系数的相合估计。 例3 设一个试验有三种可结果，其发生概率分别为 ，， 现做了n次试验，观测到三种结果发生的次数分别为，可以采用频率替换方法估计。由于可以有三个不同的的表达式： ，， 由大数定律，，，分别是，，的相合估计，由上面定理知，上述三个估计都是的相合估计。 6.2.2 无偏性 定义6.2.2设是的一个估计，的参数空间为，若对任意的，有 则称是的无偏估计，否则称为有偏估计。 注意：无偏性可以改写为，表示没有系统偏差。 例4设总体的k阶矩存在，则样本的k阶矩是总体k阶矩的无偏估计。 证 因为 所以 ak 是 (k 的无偏估计。 另外，，检验是否为的无偏估计。 因为，故，即 所以不是( 2的无偏估计，但 为( 2的无偏估计量. 由此可知不是