2贝叶斯决策理论要点.ppt

第2章 贝叶斯决策理论 2.1 引言 2.2 几种常用的决策规则 2.2.1 基于最小错误率的贝叶斯决策 2.2.2 基于最小风险的贝叶斯决策 2.2.3 限定一类错误率，使另一类错误率最小 2.2.4 最小最大决策 2.2.5 分类器、判别函数及决策面 2.3 正态分布时的统计决策 2.1 引言 模式识别的目的就是要确定某一个给定的模式样本属于哪一类 可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类 作为统计判别问题的模式分类 在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生 例如识别一块模板是不是直角三角形，只要凭“三条直线边闭合连线和一个直角”这个特征，测量它是否有三条直线边的闭合连线并有一个直角，就完全可以确定它是不是直角三角形 这种现象是确定性的现象 作为统计判别问题的模式分类 但在现实世界中，由许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性 只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性 特征值不是一个确定的向量，而是一个随机向量 此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小 统计识别的基本方法——贝叶斯决策 应用贝叶斯决策的前提条件 已知各类别总体的概率分布 已知决策分类的类别数 在已知相关概率（类别先验概率和类条件概率分布）的情况下，特征空间中一个观察量的类别归属问题 2.2 几种常用的决策规则 主要学习最小错误率Bayes错误和最小风险决策；了解在更复杂情况下的几种决策规则 讨论决策规则用于模式识别的几个问题 2.2.1 基于最小错误率的贝叶斯决策 从尽量减少错误的角度出发，利用贝叶斯公式得出使错误最小的分类原则 以癌细胞识别的例子引出贝叶斯决策 贝叶斯决策的出发点 癌细胞识别，两类别问题——细胞正常与异常 若仅利用先验概率进行分类 统计的角度得出的两类细胞的出现概率 无法实现正常与异常细胞的分类目的 先验概率提供的信息太少，要结合样本观测信息，为此需要利用类条件概率 贝叶斯公式 贝叶斯决策的几种表达形式 应用实例 两类模式集分类问题 对一大批人进行癌症普查，患癌者以ω1类代表，正常人以ω2类代表 设被试验的人中患有癌症的概率为0.005，即P(ω1)=0.005，当然P(ω2)=1-0.005=0.995 现任意抽取一人，要判断他是否患有癌症。显然，因为P(ω2) P(ω1)，只能说是正常的可能性大。如要进行判断，只能通过化验来实现 寻找样本观测量 设有一种诊断癌症的试验，其结果为“阳性”和“阴性”两种反应 若用这种试验来对一个病人进行诊断，提供的化验结果以模式x代表，这里x为一维特征，且只有x=“阳”和x=“阴”两种结果 观测量的类条件概率 假设根据临床记录，发现这种方法有以下统计结果 患有癌症的人试验反应为阳性的概率=0.95，即p(x=阳|ω1)=0.95 患有癌症的人试验反应为阴性的概率=0.05，即p(x=阴|ω1)=0.05 正常人试验反应为阳性的概率=0.01，即p(x=阳|ω2)=0.01 正常人试验反应为阴性的概率=0.99，即p(x=阴|ω2)=0.99 应用贝叶斯决策 问题 若被化验的人具有阳性反应，他患癌症的概率为多少，即求P(ω1| x=阳)=？ 这里P(ω1)是根据以往的统计资料得到的，为患癌症的先验概率。现在经过化验，要求出P(ω1| x=阳)，即经过化验后为阳性反应的人中患癌症的概率，称为后验概率 [计算]0.323 最小错误率的证明 以一维情况为例证明贝叶斯决策确实对应最小错误率 统计意义上的错误率，即平均错误率，用P(e)表示 最小错误率的证明 错误率图示 以t为界确实使错误率最小，因为P(e/x)始终取最小 这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判定给定像素属于目标还是背景 多类问题的贝叶斯决策 2.2.2 基于最小风险的贝叶斯决策 问题的提出：风险的概念 风险与损失紧密相连，如病情诊断、商品销售等问题 日常生活中的风险选择，所谓是否去冒险 最小风险贝叶斯决策考虑各种错误造成损失不同而提出的一种决策规则 “宁可错杀一千，也不放走一个” 以决策论的观点 决策空间：所以可能决策组成的集合 每个决策都将带来一定的损失，可表示为决策和自然状态的函数 一般决策表 相关的数学表示 条件期望损失 引入损失的概念，制定决策不能仅考虑最小错误率，而是要考虑采取的决策相应的损失是否最小 损失的数学表示，跟决策相关——条件期望损失，条件风险 期望风险 最小风险贝叶斯决策 最小风