哈工大 模式识别第2章课件.ppt

第2章贝叶斯决策理论;学习指南 ;理解这一章的关键是要正确理解先验概率，类概率密度函数，后验概率这三种概率，对这三种概率的定义、相互关系要搞清楚。Bayes 公式正是体现这三者关系的式子，要透彻掌握。;学习目标;重 点 ;难 点;§2.1 引 言; 物理对象的描述---- 特征及特征空间;例：鲈鱼 特征：长度：L=0~30 cm 宽度：W=10 cm~25 cm 亮度：G=0~10 特征向量：A=(L，W，G) A 的各分量所占的三维空间就是对鲈鱼 进行度量的特征空间。　　 ;几种常用的决策规则 ;2.2基于最小错误率的贝叶斯决策;基于最小错误率的贝叶斯决策 ;条件概率;几个重要概念;先验概率、后验概率、概率密度函数;贝叶斯决策理论;基于最小错误率的贝叶斯决策 ;;;;类条件概率密度函数;后验概率;Bayes 公式;后验概率;类条件概率和后验概率;;基于最小错误概率的贝叶斯决策;(3)用比值的方式表示-----似然比 ;(4) 对数似然比（似然比处理器） ;例2.1　　假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行分类。　　解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率　　 ;因此判定该细胞为正常细胞比较合理 ;最大后验概率即是最小错误率的证明;;两类别问题 ;汁醒搭秆滔团最锭戚饺肠辟汪若蚀宇诀躺课叫倘雄凶毖临箍祭絮吵系妇蚁哈工大 模式识别第2章课件哈工大 模式识别第2章课件;在R1区内任一个x值都有P(w2|x)＜P(w1|x)， 在R2区内任一个x值都有P(w1|x)＜P(w2|x) 错误率在每个x值处都取小者，因而平均错误率P(e)也必然达到最小 因而，按最大后验概率作出的决策，其平均错误率为最小。 ;C类别情况 ;多类别决策过程中的错误率计算： 1、把特征空间分割成R1，R2，…，Rc，C个区域 2、在每个区域Ri统计将所有其它类错误划为该区域对应的类的概率，则每个区域共有c-1项错误率，总共有c(c-1) 项 。（计算复杂） 正确率： ;2.3基于最小风险的贝叶斯决策;;基于最小风险的贝叶斯决策 ;分类准则是使风险最小：;两类情况举例: 有没有癌细胞 ;两种决策;一般情况：多类;　(3)损失函数λ(αi|ωj) (或写成λ(αi,ωj))。 它明确表示对自然状态ωj，作出决策αi时所造成的损失。　　就是前面我们引用过的 (4)观测值X条件下的期望损失R(αi|X),　　;最小风险贝叶斯决策规则 ;（1）根据贝叶斯公式计算后验概率 （2）利用后验概率及损失函数计算条件风险 （3）按条件风险最小进行决策。 若： 则：;;;;两种决策方法之间的关系;两类时的似然比;最小错误率决策与最小风险决策的错误率;2.4 在限定一类错误率条件下使另一类错误率为最小的两类别决策;两类别问题中可能出现两种错误分类 ;实际中，有时要求某一类的错误率不得大于某个常数，如P2(e)=ε0为一个很小的常数，而使另一类错误率P1(e)最小。 也称Neyman-Pearson决策规则 可看成在P2(e)=ε0条件下，求P1(e)极小值的条件极值问题。;求条件极值的拉格朗日乘子法 ;分别对边界t(即R1区域)和λ求导，并令 ;决策规则 ;与最小错误率决策规则对比;求解λ;2.5 最小最大决策;2.5 最小最大决策;两类问题;则;;最小最大决策;最小最大决策;2.6 判别函数、决策面与分类器设计 ;例：两类别问题按最小错误率决策的判别函数及决策面 ;多类别情况 ;决策面;三类别问题用一维特征空间时的所有决策边界 ;两类别问题的二维特征空间中的决策边界　　 ;二、分类器设计;两类别分类器的框图;多类别分类器的结构框图;Bayes决策理论小结;;2.7 正态分布时的统计决策;一、正态分布概率密度函数的定义与性质;1、单变量正态分布　 ;单变量正态分布具体化 ;2、多元正态分布;3）多元正态分布的重要特性;;例：两个二元正态分布 ;协方差矩阵;3、多元正态分布的性质;;;二、正态分布概率模型下的最小错误率贝叶斯决策　 ;决策面方程 ;分界面的几种形式及条件;1、最小距离分类器情况 ;以上条件表明，c类样本都以半径相等的超球面形状分布在特征空间内，且具有相等的先验概率。 ;;;2、线性分类器;线性分类器;决策面方程 ;线性