第六章-最大似然估计.pdf

第六章 最大似然估计 第六章 最大似然估计 第 1 页 共 27 页 第六章 最大似然估计 6.1 ML 估计 6.1.1 定义 已知随机样本 的联合密度 决定于有限维参数 ，不妨记似然 函数 ，表示给定样本下参数的函数；最大化似然函数的过程称为参 数 的ML 估计。 假定似然函数 可分解如下： (6-1) 其中，参数 ；条件密度 决定于参数 ，边缘密度 决定 于参数 。 式（6-1 ）的设定隐含了两个最常用的假定：一是假定了各期的样本之间相互独立；另 一个则是假定了参数 和 是可分的。 当收集到的样本为截面数据时，样本独立的假定基本是合适的，但在时序分析中则可能 不一定成立，此时式（6-1 ）中的第一个等号可转化为下式： 其中， 。 为了简化分析，在以下分析中，如无特别说明，假定式（6-1 ）的分解成立。 由式（6-1 ）可知，当我们关注的参数为 时，最大化似然函数 与最大化 函数 的结果是等价的。因此，在估计过程中通常只关注条件似然函数。在不引 起误解的情况下，我们仍然使用符号 表示 的似然函数。 参数 的ML 估计 定义如下： (6-2) 其中，参数空间 为参数 的定义域。 由于上式中存在连乘的形式，不方便于求解估计量，因此，大多数情况下，都先对上式 进行对数变换再进行最优化。 (6-3) 第 2 页 共 27 页 第六章 最大似然估计 与非线性回归的情况一样，在ML 估计中也需要假定参数的可识别性，具体如下： 假定（可识别假定）：对参数空间 的任意 ，有 其中， 为参数 的真值。 这里需要说明一下，与LS 估计不同，在ML 估计的框架中，用于保证估计量性质的约 束条件无法很清晰的划分为几类简单的假定。因此，更常用的做法是直接给出这些约束条件 （正则条件），而不是作为假定提出。我们之所以单独列出可识别假定，是因为它是整个极 值估计的核心假定，且在性质证明中能直接看出。 6.1.2 性质 1．正则条件 在相当弱的正则条件（Regularity Conditions ）下，ML 估计量是一致的，在稍强一些的 假设下是渐近正态的。因此，如果一个ML 估计量满足已知的正则条件，则不必要证明其一 致性（直接证明某个ML 估计量的一致性通常比较困难），也不必要推导其渐近分布。 假定如下的正则条件成立： R1. 对几乎所有的 和任意的 ， 的1 至3 阶导数存在且连续。 R2. 的1 阶与2 阶导数的期望存在。 R3. 对于任意的 ， 小于某个具有有限期望的函数。 记 ， ，则由以上正则条件，可有 如下性质： D1.