周志华 机器学习 西瓜书 全书16章 Chap07贝叶斯分类器.ppt

拉普拉斯修正 若某个属性值在训练集中没有与某个类同时出现过，则直接计算会出现问题，. 比如“敲声=清脆”测试例，训练集中没有该样例，因此连乘式计算的概率值为0，无论其他属性上明显像好瓜，分类结果都是“好瓜=否”，这显然不合理。 拉普拉斯修正 若某个属性值在训练集中没有与某个类同时出现过，则直接计算会出现问题，. 比如“敲声=清脆”测试例，训练集中没有该样例，因此连乘式计算的概率值为0，无论其他属性上明显像好瓜，分类结果都是“好瓜=否”，这显然不合理。 为了避免其他属性携带的信息被训练集中未出现的属性值“抹去”，在估计概率值时通常要进行“拉普拉斯修正”（Laplacian correction） 令 表示训练集 中可能的类别数， 表示第 个属性可能的取值数，则式 (7.16)和 (7.17)分别修正为 现实任务中，朴素贝叶斯分类器的使用情形：速度要求高，“查表”；任务数据更替频繁，“懒惰学习” (lazy learning)；数据不断增加，增量学习等等。 章节目录 贝叶斯决策论 极大似然估计 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网 EM算法 半朴素贝叶斯分类器 为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用的属性条件独立性假设；对属性条件独立假设进行一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器” (semi-na?ve Bayes classifiers) 半朴素贝叶斯分类器 为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用的属性条件独立性假设；对属性条件独立假设记性一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器” (semi-na?ve Bayes classifiers) 半朴素贝叶斯分类器最常用的一种策略：“独依赖估计”(One-Dependent Estimator,简称ODE)，假设每个属性在类别之外最多仅依赖一个其他属性，即 其中 为属性 所依赖的属性，称为 的父属性 对每个属性 ，若其父属性 已知，则可估计概值 ，于是问题的关键转化为如何确定每个属性的父属性 SPODE 最直接的做法是假设所有属性都依赖于同一属性，称为“超父” (super-parenet)，然后通过交叉验证等模型选择方法来确定超父属性，由此形成了SPODE (Super-Parent ODE)方法。 图7.1 朴素贝叶斯分类器与两种半朴素分类器所考虑的属性依赖关系 在图7.1 (b)中， 是超父属性。 TAN TAN (Tree augmented Na?ve Bayes) [Friedman et al., 1997] 则在最大带权生成树 (Maximum weighted spanning tree) 算法 [Chow and Liu, 1968] 的基础上，通过以下步骤将属性间依赖关系简约为图7.1 (c)。 计算任意两个属性之间的条件互信息 (CMI：conditional mutual information) 以属性为结点构建完全图，任意两个结点之间边的权重设为 构建此完全图的最大带权生成树 以每个属性为节点(nodenode)，CMI为边(edgeedge)形成一张图。找到这张图的最大带权生成树。即找到一个节点之间的连接规则，这个规则满足三个条件： 1.能够连接所有节点； 2.使用最少数目的边； 3.边长(CMI)总和最大 最大带权生成树 再把节点连接关系设置为有向，即从父节点指向子节点。在这里把最先出现的属性设置为根节点，再由根节点出发来确定边的方向 TAN TAN (Tree augmented Na?ve Bayes) [Friedman et al., 1997] 则在最大带权生成树 (Maximum weighted spanning tree) 算法 [Chow and Liu, 1968] 的基础上，通过以下步骤将属性间依赖关系简约为图7.1 (c)。 计算任意两个属性之间的条件互信息 (conditional mutual information) 以属性为结点构建完全图，任意两个结点之间边的权重设为 构建此完全图的最大带权生成树，挑选根变量，将边设为有向； 加入类别节点y，增加从y到每个属性的有向边。 AODE AODE (Averaged One-Dependent Estimator) [Webb et al. 2005] 是一种基于集成学习机制、且更为强大的分类器。 尝试将每个属性作为超父构建 SPODE---共d个 将具有足够训练数据支撑的SPODE集群