华中科技大学人工智能机器学习-bayes解析.ppt

机器学习 统计学习——贝叶斯分类 软木塞问题 假设工厂生产的软木塞都属于事先分成的两类： ω1：高质量，从生产至今，有n1 = 901 420个 ω2：平均质量，从生产至今，有n2 = 1 352 130个 先验概率(“自然状态”)： P(ω1) = n1/(n1 + n2) = 0.4 P(ω2) = n2/(n1 + n2) = 0.6 对于一个具体的，可用特征向量x描述的软木塞，已知先验概率，同时已知具备该特征量的高质量软木塞与平均质量软木塞的个数，如何判断x属于哪一类？ 贝叶斯公式 软木塞问题 x=[N]=[65] p(x|ω1)P(ω1)=20/24 × 0.4 =0.333 p(x|ω2)P(ω2)=16/23 × 0.6 =0.418 X属于ω2 医疗诊断问题 两个类别 Cancer：病人患上了某种癌症 ～Cancer：病人未患癌症 先验知识（由人口统计得来） 0.8%的人患有癌症 化验测试（训练集），不完全预测 化验结果有两种：+、- 对于患有癌症的人，该测试98%正确率 对于不患癌症的人，该测试97%正确率 假设一个病人，化验返回结果为+，那么他患癌症的概率？ 医疗诊断问题求解 P(Cancer) = 0.008 P(~Cancer) = 0.992 p(+|cancer) = 0.98 p(-|cancer) = 0.02 p(+|～cancer) = 0.03 p(-|～cancer) = 0.97 p(+|cancer) ×P(Cancer) = 0.0078 p(+|～cancer) ×P(~Cancer) = 0.0298 该病人未患癌症 朴素贝叶斯分类器 动机 考虑从训练集中估计贝叶斯公式所需的两个数据项 朴素贝叶斯分类器 假定：属性值之间相互条件独立，则有 朴素贝叶斯分类器-打网球求解 决策以下实例的类别 Outlook=sunny, Temperature=cool, Humidity=high, Wind=strong 朴素贝叶斯分类器-打网球求解 朴素贝叶斯分类器-估计概率 令P(wind=strong|PlayTennis=No) = nc/n 动机 假设样本足够足够多时， nc/n = 0.08 但用到的训练集中，PlayTennis=No的样本只有5个，因此nc/n极有可能为0 产生了过低估计概率——需要决策的样本包含wind=strong时，后验概率为将为0 解决方法：m-估计 令P(wind=strong|PlayTennis=No) = (nc+mp)/(n+m) m：实验获取 p：先验估计，缺少足够信息时，计算p的一种典型方法是令p=1/k，k为属性ai的可能取值个数 * * 用P(ωi|x)表示x属于ωi的概率—后验概率 根据贝叶斯公式 极大后验MAP假设：Maximum A Posteriori 如果P(ω1|x)P(ω2|x),则x∈ω1 如果P(ω1|x)P(ω2|x),则x∈ω2 如果P(ω1|x)=P(ω2|x),则可任意决策 P(ωi):ωi在训练集中的出现频率 P(a1,a2,…an|ωi):每一个ωi中，不同实例的出现频率 对于P(a1,a2,…an|ωi)，想要得到合理的估计值，训练集就要足够大 朴素贝叶斯公式 朴素贝叶斯分类器-打网球训练集 no strong high mild rain 14 yes weak normal hot overcast 13 yes strong high mild overcast 12 yes strong normal mild sunny 11 yes weak normal mild rain 10 yes weak normal cool sunny 9 no weak high mild sunny 8 yes strong normal cool overcast 7 no strong normal cool rain 6 yes weak normal cool rain 5 yes weak high mild rain 4 yes weak high hot overcast 3 no strong high hot sunny 2 no weak high hot sunny 1 PlayTennis Wind Humidity Temperature Outlook Day P(PlayTennis=Yes)=9/14=0.64 P(PlayTennis=No)=5/14=0.36 P(strong|Y)=3/9=0.33 P(strong|N)=3/5=0.60 P(high|Y)=3/9=0.33 P(high|N)=4/5