最大似然估与W、LR、LM三种检验(OVER).ppt

极大似然估计 与 W,LR,LM检验 第一部分：极大似然估计 极大似然估计的目标是寻找最可能生成样本观测的参数的值。于是可以通过寻找使上述似然函数达到最大的参数值来实现。对似然函数求对得到对数似然函数：当对数似然函数达到最大时，似然函数也达到最大。将对数似然函数分别对三个未知参数求偏导，令它们等于零，并求解： 通过求偏导得到三个方程求解得出：可以看出，得到的结果与最小二乘法估计量完全一样， 和是最优线性无偏估计量，但是， 却是有偏估计量。因此需要调整分母为N-2 线性模型的ML估计的一般形式 假设一般模型为: 其中 服从正态分布且满足基本线性回归模型的所有其他假设条件。对于Y和相应的所有X的N个观测中的每一个观测，给定X和Y的密度函数为： N个观测的对数似然函数为：（所有求和都是对观测i=1,2,…N进行） 同样的，将上式对每一个求偏导，令它们等于零并求解，可以得到关于p+1个未知数和p+1个非线性方程的联立方程组，如果这些方程是线性，求解每一个参数的极大似然估计就很容易，但是，如果方程不是线性的，求解过程就比较复杂，需要用到数值方法。 线性模型的ML估计量的导出（向量形式） 对线性模型： u的多元正态密度为则y关于x的多元条件密度为 这里是由u 中元素关于y中元素的偏导数组成的矩阵转换成行列式的绝对值。这里矩阵为恒等矩阵。因此，对数似然函数为：未知参数向量θ有 k+1个元素，即： 取对数似然函数的偏导数，得：令这些偏导数为零，则可以得到诸MLE为 第二部分 最大似然估计量的性质 最大似然估计量的主要性质是大样本性或渐近性。这些性质在一般条件下都成立： 一致性（Consistency） 渐近正态性(Asymptotic normality) 渐近有效性(Asymptotic efficiency) 不变性(Invariance) 得分的均值为零，方差为 1.一致性（Consistency） 2.渐近正态性(Asymptotic normality)~ N（ θ ，）这表明 的近似分布是正态的，其均值为θ，方差为矩阵的逆。是信息矩阵(information matrix)，可以用两种等价的方法来定义它 实践中，计算第二个表达式通常要简单得多，当θ是一个k维向量时， 表示 k个偏导数组成的列向量，即这个得分（或斜率）向量中的每一个元素本身就是θ的函数，因此可以求它关于θ中每个元素的偏导数。 3.渐近有效性(Asymptotic efficiency) 若 是单一参数θ的最大似然估计量，那么前一个性质意味着对某一个有限常数有：如果 表示θ的其它任何的一致、渐近正态估计量，那么是正态有限分布的，其方差大于或等于。MLE是所有一致、渐近正态估计量中方差最小的一个。 渐近方差（asymptotic variance）指的是有限分布的方差。因而的渐近方差是。不过这个术语也可用来描述未知有限样本分布的渐近近似分布的方差。因此，与此相当的表述为 渐近方差 是/n 。当θ是一个参数向量， 是MLE时，对某一正定矩阵V,有 若 表示其它任何一致，渐近正态估计量的方差矩阵，那么-V是一个半正定矩阵 4.不变性(Invariance) 如果 是θ的MLE，g(θ ) 是θ的连续函数，则g( )是g(θ )的MLE 5.得分的均值为零，方差为 为表明其均值为零，我们注意到，在y的所有可能取值范围内对联合密度积分得到的值为1，即 等式两边关于θ求导，得 但是=0 因此S的方差为 第三部分 W、 LR 、LM三种检验的基本思想 问题的一般性描述 对于多元回归模型的一般表达式： 当回归系数存在线性约束时，如何检验？ 设模型为：其中，。 定理： 的拒绝域为： 其中：， 同时 也等价于。 三种检验的基本思想 在检验回归模型中某些参数是否存在约束时，通常采用三种等价的检验：似然比检验、沃尔德检验、拉格朗日乘数检验。 下面分别对这三种检验的基本思想进行讨论。 设有模型： 其中： 是的向量；（高斯白噪声向量），Ω是非奇异阵（ 只存在同期相关）。 设，其中，或是的线性函数或是非线性函数，但要求是可微连续。 在无约束条件下，对数似然函数记为， 有约束条件下，对数似然函数记为。 沃尔德检验（Wald Test） 基本思路 设成立，且 为连续。若 为无约束条件下 的ML估计量，依据ML估计量的性质，有（或者）且：。 又依据不变性，有： 因此， 一方面： 故在成立时有： 另一方面： 由于 为 的一致性估计量，当成立时，应当在 附近。这样，若的绝对值过大，则拒绝 。沃尔德是通过来建立检验统计量的。 对于回归