贝叶斯分类 课件.ppt

问题1：零概率问题的解决方案：拉普拉斯校准 年龄 收入 学生 信用 买了电脑 30 高 否 一般 否 30 高 否 好 否 30-40 高 否 一般 是 40 中等 否 一般 是 40 低 是 一般 是 40 低 否 好 否 30-40 低 是 好 是 30 中 否 一般 否 30 低 是 一般 是 40 中 是 一般 是 30 中 是 好 是 30-40 中 否 好 是 30-40 高 是 一般 是 40 中 否 好 否 计算P(w|未买电脑) w = (年龄30, 收入中等，是学生，信用一般) P(年龄30|未买电脑) = 3/5 = 0.600 P(收入中等|未买电脑) = 2/5 = 0.400 P(是学生|未买电脑) = 0/5 = 0 P(信用一般|未买电脑) = 2/5 = 0.400 P(年龄30|未买电脑) = (3+1)/(5+4) = 0.444 P(收入中等|未买电脑) = (2+1)/(5+4) = 0.333 P(是学生|未买电脑) = (0+1)/(5+4) = 0.222 P(信用一般|未买电脑) = (2+1)/(5+4) = 0.333 拉普拉斯校准 问题2：溢出问题 P(w|Ci) = P(w0|Ci)*P(w1|Ci)*P(w2|Ci)*P(w3|Ci) 等式右边分子中各概率的值 可能很小，而很小的数再相乘 可能会导致浮点数溢出 对等式右边的分子求对数，进而将概率相乘转换为相加： 注: log(a*b) = log(a) + log(b) 你这样乱改公式， 贝叶斯知道吗？ 问题2：溢出问题 如果不指明底数，我们默认底数为2。 y = log(x) 为增函数 若 P(a) P(b)，则 log(P(a)) log(P(b)) 朴素贝叶斯算法是通过比较待分类实例属于各个类别的概率的大小来实现分类的， 因此只要公式能体现出概率的大小关系即可，无需计算出准确的条件概率 问题3：决策风险问题 不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。其中最有代表性的是: 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 问题3：决策风险问题：基于最小错误率的贝叶斯决策 分类器中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？ 当某一特征向量X只为某一类物体所特有，即 对其作出决策是容易的，也不会出什么差错。问题在于出现模凌两可的情况。此时，任何决策都存在判错的可能性。 条件概率：P(*|#)是条件概率的通用符号，P(wk|X)是表示在X出现条件下，样本为wk类的概率。 基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的 （1）后验概率: 如果 则 问题3：决策风险问题：基于最小错误率的贝叶斯决策 (2)如果 则 (3)似然比： 如果 则 否则 问题3：决策风险问题：基于最小错误率的贝叶斯决策 如果 则 否则 (4)似然比写成相应的负对数形式 例题1 假设在某地区切片细胞中正常（w1）和异常（w2）两类的先验概率分别为p(w1)=0.9,p(w2)=0.1。 现有一待识别细胞呈现出状态 x，由其类条件概率密度分布曲线查得p(x|w1)=0.2,p(x|w2)=0.4,试对细胞x进行分类。 例题1解答 利用贝叶斯公式，分别计算出状态为x时w1与w2的后验概率 问题3：决策风险问题：基于最小错误率的贝叶斯决策的证明 平均错误率:在观测值可能取值的整个范围内错误率的均值 两类判别情况 当p(w2|x)p(w1|x)时决策为w2，对观测值x有 p(w1|x)概率的错误率 R1:做出w1决策的所有观测值区域，条件错误概率为p(w2|x) R2:条件错误概率为p(w1|x)。因此平均错误率p(e)可表示成 阿尔茨海默症防治相关知识埃及的金字塔有建造方法动画艾司洛尔在神经外科重症中的应用二级二班防溺水等安全教育 阿尔茨海默症防治相关知识埃及的金字塔有建造方法动画艾司洛尔在神经外科重症中的应用二级二班防溺水等安全教育 阿尔茨海默症防治相关知识埃及的金字塔有建造方法动画艾司洛尔在神经外科重症中的应用二级二班防溺水等安全教育 数据挖掘：朴素贝叶斯分类 王成（副教授） 华侨大学计算机科学与技术学院 1.概率论基本知识 确定事件：概念是确定的，发生也是确定的； 随机事件：概念是确定的，发生是不确定的； 模糊事件：概念本身就不确定。 随机变量 随机变量：随机事件的数量表示； 离散随机变量：取值为离散的随机变量 ； 连续随机变量：取值