贝叶斯分类器经典讲.ppt

伯努利模型 1、基本原理 在这里，m=2, p=1/2。 p( |c=YES)= p( |c=yes)(1-p( |c=yes) 贝叶斯算法 贝叶斯算法 贝叶斯 ，英国数学家。1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。 一个医疗诊断问题 有两个可选的假设：病人有癌症、病人无癌症 可用数据来自化验结果：正+和负- 有先验知识：在所有人口中，患病率是0.008 对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97% 总结如下 P(cancer)=0.008, P(?cancer)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|?cancer)=0.03, P(-|?cancer)=0.97 问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？求后验概率P(cancer|+)和P(?cancer|+) 贝叶斯定理 解决上面的问题：已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。 癌症 诊断正确 诊断正确 癌症 贝叶斯定理 这里先解释什么是条件概率 在事情B发生的条件下A发生的条件概率，其求解公式为 贝叶斯定理 贝叶斯定理的意义在于，我们在生活中经常遇到这种情况：我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但我们更关心P(B|A)，贝叶斯定理就为我们打通从P(A|B)获得P(B|A)的道路。 贝叶斯定理 下面不加证明给出贝叶斯定理公式 机器语言中的定义 表示在没有训练数据前假设A拥有的初始概率。P(A)被称为A的先验概率. P(A|B)表示假设B成立时A的概率 机器学习中我们关心的是P(B|A)，即给定A时B的成立的概率，称为B的后验概率 ， 贝叶斯定理的解释 P(B|A)随着P(B)和P(A|B)的增长而增长，随着P(A)的增长而减少，即如果A独立于B时被观察到的可能性越大，那么B对A的支持度越小. 评分标准 H：假设候选集 表示使P（B|A) 最大的B值 P(A)??_ P（A|B)= 朴素贝叶斯分类器 1、条件独立性 给定类标号y，朴素贝叶斯分类器在估计类条件概率时假设属性之间条件独立。条件独立假设可以形式化的表达如下： 其中每个训练样本可用一个属性向量X=(x1,x2,x3,?,xn)表示，各个属性之间条件独立。 朴素贝叶斯分类器 比如，对于一篇文章“Good good study,Day day up.” 用一个文本特征向量来表示： x=(Good, good, study, Day, day , up)。 一般各个词语之间肯定不是相互独立的，有一定的上下文联系。但在朴素贝叶斯文本分类时，我们假设个单词之间没有联系，可以用一个文本特征向量来表示这篇文章，这就是“朴素”的来历。 朴素贝叶斯如何工作 有了条件独立假设，就不必计算X和Y的每一种组合的类条件概率，只需对给定的Y，计算每个Xi的条件概率。后一种方法更实用，因为它不需要很大的训练集就能获得较好的概率估计。 估计分类属性的条件概率 P(Xi|Y=y)怎么计算呢？它一般根据类别y下包含属性Xi的实例的比例来估计。以文本分类为例，Xi表示一个单词，P(Xi|Y=y)=包含该类别下包含单词的xi的文章总数/ 该类别下的文章总数。 贝叶斯分类器举例 假设给定了如下训练样本数据，我们学习的目标是根据给定的天气状况判断你对PlayTennis这个请求的回答是Yes还是No。 Day Outlook Temperature Humidity Wind PlayTennis D1 Sunny Hot High Weak No D2 Sunny Hot High Strong No D3 Overcast Hot High Weak Yes D4 Rain Mild High Weak Yes D5 Rain Cool Normal Weak Yes D6 Rain Cool Normal Strong No D7 Overcast Cool Normal Strong Yes D8 Sunny Mild High Weak No D9 Sunny Cool Normal Weak Yes D10 Rain Mild Normal Weak Yes D11 Sunny Mild Normal S