第3章 最大似然估计 贝叶斯参数估计 - 中山大学.ppt

第三章:最大似然估计 贝叶斯参数估计 介绍 贝叶斯框架下的数据收集 在以下条件下我们可以设计一个可选择的分类器 : P(?i) (先验) P(x | ?i) (类条件密度) 不幸的是，我们极少能够完整的得到这些信息! 从一个传统的样本中设计一个分类器 先验估计不成问题 样本对于类条件密度估计太小了 (特征空间维数太大了!) 这个问题的一个先验信息 P(x | ?i)的正态性 P(x | ?i) ~ N( ?i, ?i) 用两个参数标示 估计 最大似然估计 (ML) 和贝叶斯估计 结果近似于独立, 但是方法是不同的 最大似然估计中的参数是固定的但是未知! 通过最大化所观察的样本概率得到最优的参数 贝叶斯方法把参数当成服从已知分布的随机变量 在这两种方法中，我们用P(?i | x)表示分类规则! 最大似然估计 当样本数目增加时，收敛性质会更好 比其他可选择的技术更加简单 一般的原理  假设有c类并且 P(x | ?j) ~ N( ?j, ?j) P(x | ?j) ? P (x | ?j, ?j) 当: 使用训练样本提供的信息估计 ? = (?1, ?2, …, ?c), 每个 ?i (i = 1, 2, …, c) 和每一类相关 假定D包括n个样本, x1, x2,…, xn ?的最大似然估计是通过定义最大化P(D | ?)的值 “?值与实际观察中的训练样本最相符” 最优估计 令? = (?1, ?2, …, ?p)t 并令 ?? 为梯度算子 the gradient operator 我们定义 l(?) 为对数似然方程 l(?) = ln P(D | ?) 新问题陈述: 定义 ? 为使对数似然最大的值 最优值所需要满足的条件如下: 特殊情况的例子: 未知 ?  P(xi | ?) ~ N(?, ?) (样本从一组多变量正态分布中提取) ? = ?，因此: ?的最大似然估计必须满足: 乘 ? 并且重新排序, 我们得到: 即训练样本的算术平均值! 结论: 如果P(xk | ?j) (j = 1, 2, …, c)被假定为d维特征空间中的高斯分布; 然后我们能够估计向量 ? = (?1, ?2, …, ?c)t 从而得到最优分类! 最大似然估计: 高斯例子: 未知 ? 和 ? ? = (?1, ?2) = (?, ?2) 最后得到: 合并 (1) 和 (2), 得到如下方程: 偏差 ?2的最大似然估计是有偏的 ?的一个基本的无偏估计是:  附录: ML 问题陈述 令 D = {x1, x2, …, xn} P(x1,…, xn | ?) = ?1,nP(xk | ?); |D| = n 我们的目标是终结 (?的值使得这个样本变得最有代表性!) 问题:找到 ? = (?1, ?2, …, ?c) 使得: 贝叶斯估计 (模式分类问题的贝叶斯) 在最大似然估计中 ? 被假定为固定值 在贝叶斯估计中 ? 是随机变量 后验概率 P(?i | x)的计算取决于贝叶斯分类的中心 目标: 计算 P(?i | x, D) 假设样本为D，贝叶斯方程可以写成 ： 为了证明以上方程, 使用: 贝叶斯参数估计: 高斯过程 目标: 使用后验密度P(? | D) 估计 ? 普遍情况: P(? | D) ? 是唯一未知参数 (?0 与 ?0 未知!) 复制密度 将 (1) 与 (2)相加得到: 一种普遍的情况 P(x | D) 计算得到P(? | D) P(x | D) 仍然需要计算得到! 由此可得: (期望得到的分类条件密度P(x | Dj, ?j)) 因此: 已知P(x | Dj, ?j) 和 P(?j) 使用贝叶斯公式，我们得到贝叶斯分类准则: 贝叶斯参数估计：一般规则 P(x | D) 的计算可应用于所有能参数化未知密度的情况中，基本假设如下: 假定 P(x | ?) 的形式未知，但是?的值并不明确知道 ?被假定为满足一个已知的先验密度 P(?) 除此以外， ? 包含在集合D中，其中D是由n维随机变量x1, x2, …, xn 表示的P(x)组成的集合 基本的问题是: “计算先验密度P(? | D)” 然后 “推导出 P(x | D)” 使用贝叶斯方程，我们得到: 然后由独立性假设： 维数问题 问题包括50或100个特征 (二进制) 分类精度取决于维数和训练样本的数量 有相同系数的两组多维向量情况 如果特征是独立的，则有: