第一章概率统计基础.ppt

本节课内容 MLE的性质 MLE很流行是因为MLE有一些很好的性质 MLE的性质 MLE的一些性质（ 为参数的真值） 一致性： 同变性：若 是 的MLE，则 是 的MLE 渐近正态： 渐近有效/最优：在所有的无偏估计中，MLE的方差最小 近似于贝叶斯估计（在贝叶斯推理部分讲述） 这些只在满足正则条件下成立，正则条件度量 的平滑性。 MLE的一致性 一致性： 依概率收敛于真值 ，即 为了证明这一性质，引入KL散度/KL距离 相对熵：KL散度 若f 和g为两个pdf，它们之间的KL散度/距离(Kullback-Leibler Divergence)定义为 KL散度的性质 通常情况下 我们用 来表示 可识别性(Identifiability) 如果 意味着 ，我们说模型 是可识别的 这表示不同的参数值对应不同的分布。后面我们都假设模型是可辨识识别的。 连续型分布通常是可识别的，而离散型分布有时是不可识别的。 MLE = Minimizing KL Divergence 令 表示 的真值。极大化 等价于极大化： 相对 是一个常数。 MLE的一致性 根据大数定律， 收敛于 ，在 时取极大值 因为 ，且当 时， 因此 ，在 时取极大值 根据MLE的定义，当 时， 取极大值 所以可以猜测MLE是一致估计： MLE的一致性 9.13 定理：令 表示?的真实值，定义 且 假设 并且对任意 令 表示极大似然估计，则 MLE的同变性 等价性：令 是 的一个一一映射函数。令 是 的MLE，则 是 的MLE。 证明：令 表示函数g的反函数，则 对 ，有 其中 。 则 ，有 MLE的等价性 例9.15：令 ， 则 的MLE为 令 ，则 的MLE为 MLE的渐近正态性 渐近正态性： 可以给出渐进方差 为了证明这一性质，引入记分函数和Fisher信息 当记分函数和Fisher信息的形式比较简单时，可解析求解 若解析计算困难，可用参数bootstrap方法计算 Fisher信息 记分函数(score function)定义为 用来估计θ Fisher信息定义为 告诉记分数里包含了θ 的多少信息 记分函数 vs. 似然函数 再定义一个总记分函数：记分函数在样本上的和 似然函数为 所以 即总记分函数为似然函数的一阶导数，表示似然函数的变化率 对MLE， 记分函数的性质 记分函数的期望为0： 证明： 记分函数的性质 (1) 经验总记分函数为0： (2) 总记分函数的期望为0： 当?与 和 匹配时，对 求期望才为0 所以当总记分函数为0是的 会产生?的一个一致估计 Fisher信息 用于计算某个估计量?的方差 告诉了记分函数包含了?的多少信息 Fisher信息：记分函数的方差 其中 为当n= 1时的Fisher信息 Fisher信息 所以要证明 转换为证明 Fisher信息 二阶导数 度量了 的曲率 即当?变化时，似然函数的平滑程度 曲率越大，信息越多 信息越多，曲率越大（越不平滑/陡峭），MLE越确定，估计的方差越小 渐近正态性 令 ，在满足合适的正则条件下， 换句话说， 用标准方差的估计值 代替se，该结论仍然成立，即 因此对任意极大似然估计量，我们可以近似其置信区间。 渐近正态置信区间 令 则当 时， 即 为 置信区间。 例：