2贝叶斯决策论案例.ppt

第二章 贝叶斯决策论 难点 1、 三种概率：先验概率、类概率密度函数、后验概率的定义 2、 三种概率之间的关系——Bayes公式 3、 描述随机变量分布的一些定义，如期望值、方差、尤其是协方差、协方差矩阵，其定义、计算方法及内在含义，透彻掌握其含义才会做到灵活运用。 2.1 引言 引言（1) 2.2 最小错误率Bayes决策准则（朴素贝叶斯分类）（Navie (or Idiot’s) Bayes) 一种简单的判决准则： 特征及其类条件概率密度分布 判决问题？ Bayes公式(1) Bayes公式(2) 后验概率和错误概率 基于最小错误率的Bayes判决准则 最小错误率 2.3 最小风险判决规则 2.4最大似然比判决规则 2.5 Neyman-Pearsen判决规则 2.6 最小最大判决准则(极小极大准则) 2.7 分类器设计 例题：正态分布的两类问题 * * 主要内容： 1、 机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论2、 如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论3、 模式识别的基本计算框架——制定准则函数，实现准则函数极值化的分类器设计方法4、 正态分布条件下的分类器设计5、 判别函数、决策面、决策方程等概念6、 Bayes决策理论的理论意义与在实践中所遇到的困难 统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器设计都有实际指导意义。 贝叶斯决策方法是统计模式识别中的一个基本方法，其首先假设： 该决策问题可以用统计概率方法来处理 各个类别的总体概率分布是已知的（实际很难得到） 特征量的先验概率分布是已知的（实际很难得到） 样本空间 特征空间 分类器设计 分类判决 判决输出 贝叶斯决策理论是统计决策方法中的最优方法 常用决策准则： 基于最小错误率的Bayes决策规则 基于最小风险的Bayes决策准则 捕鱼的例子：鲈鱼（Sea Bass)、鲑鱼(Salmon)（捕到的鱼只能是二者之一） 用w标记类别： ：鲈鱼 ：鲑鱼 假设w可以用概率（可能性）来表示： P(w1)：下一条鱼是鲈鱼的先验概率 P(w2)：下一条鱼是鲑鱼的先验概率 P(w1)+P(w2)=1 先验概率：反映了我们的经验知识，例如随季节和海域的不同鱼的分布情况不同。 只根据先验知识获得一个简单的判决准则： W=w1:鲈鱼 W=w2:鲑鱼 例如：假设春季在某海域是：鲈鱼的概率是：99.99%，鲑鱼的概率是：0.01%，则可认为打捞上来的鱼是鲈鱼。在冬季他们出现的概率相反，则可认为打捞上来的鱼是鲑鱼。 当两类鱼出现的概率相差不大时？ 需要更多的特征信息：如鱼的长度，鱼的外表色泽的深浅、嘴的位置和大小等等。 特征量：鱼外表色泽亮度x 根据大量的统计可以获得鲈鱼和鲑鱼关于亮度x的类条件概率分布情况： 鲑鱼 鲈鱼 假设知道： 1.鲈鱼和鲑鱼的先验概率：p(w1)，p(w2) 2.亮度特征x的类条件概率密度： 3.当前待分类的这条鱼的亮度观测值：x 判断：x属于鲈鱼和鲑鱼的概率情况 亮 并且： 等价于： 则 则 在一维特征空间里，判决门限t把空间划分为两个类型区域R1，R2。 在R1中 在R2中， ，则 ，则 阴影区域是两类样本的交错分配区域，阴影面积就是这种分类方法的错误率。总错误率有两种情况： 而判为 ,斜线区域。 而判为 ，纹线区域。 总错误率： 若令t为两类分界面，特征向量x为一维时，t为x轴上的一个点 当 当 ＝ 要使P(e)最小，判决门限应如上图所示，否则就会有多余的阴影面。而 表达的判决规则，判决门限正好如上图所示，所以称之为“最小错误概率判决规则”。 则 则 最小错误率判决规则推广: 1.推广到多类（C类） 若： 2.推广到多特征 假设各个特征相互独立： 例题： 例1：为了对癌症进行诊断，对一批人进行一次普查，给每个人打试验针，观察反应，然后进行统计，规律如下： 这一批人中，每1000个人中有5个癌症病人； 这一批人中，每100个正常人中有一个试验呈阳性反应； 这一批人中，每100个癌症病人中有95人试验呈阳性反应。 问：若某人（甲）呈阳性反应，甲是否正常？ 解：假定x表示实验反应为阳性， （??? (1)人分为两类：w1－正常人，w2－癌症患者， ??? (2)由已知条件计算概率值： 先验概率： 类条件概率密度： (3) 决策过程 由最小错误判决规则，可知 由于