模式识别-第2讲-贝叶斯决策理论1精要.ppt

条件期望损失 计算机学院第3次课结束！ 设{?1,?2,…,?c}是c个类别的集合(状态)。 设{?1,?2,…,?a}是a种采取的决策行为。 记 ?(?i,?j) (损失函数)是类别状态为?j时采用决策行为?i的风险。 对于i = 1,…,a，条件风险R(?i|x) 定义为： 它是在c个类别状态中任取某个状态?j时，采用决策?i的风险?(?i ,?j)相对于后验概率P(?j|x)的条件期望。 一般决策表 观察值x是随机向量，不同的观察值x，采取决策?i时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的取值而定。 决策?看成随机向量x的函数，因此，它也是一个随机变量。条件风险R(?i|x)反映给定的观察值x，采取决策?i时，所有类别状态下带来风险的平均值。 条件风险是反映了对于给定观察值x,采取决策?i所带来的风险。对于i=1,…,a所有的决策行动中，能否根据最小条件风险来决定判别规则？ 如果在采取每一个决策或行动时，都使其条件风险最小，则对给定的观察值x作出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。其规则为： 已知先验概率P(?j)、类条件概率密度p(x|?j),并给出待识别的x，根据贝叶斯公式，计算出后验概率P(?j|x)。 后验概率P(?j|x)与损失函数，计算出每个条件期望风险R(?i|x)(一共有a个决策)。 3.在a个R(?i|x)相互比较，找出最小的决策?k，完成最小风险贝叶斯决策。 最小风险贝叶斯决策步骤 注意：最小风险贝叶斯决策除了先验概率P(?j)和类条件概率密度p(x|?j)外，还需要有合适的损失函数?(?j,?j)。 在实际中，要列出合适的决策表很不容易，要根据所研究的具体问题，分析错误决策造成损失的严重程度，与有关的专家共同商讨来确定。 这样按最小风险的Bayes决策规则，采取的决策将随x的取值而定，引入函数 表示对 的决策。对整个特征空间上所有 的取值采取相应的决策 所带来的平均风险 显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最小。 我们已经分析了两种分别使错误率和风险达到最小的Bayes决策规则，下面分析一下两种决策规则的关系。 两类决策规则的关系 两类情况下的最小风险Bayes决策 ?1 : 对应于类别判别?1； ?2 :对应于类别判别?2。 ?ij=?(?i,?j)表示当实际类别为?j时误判为? i 所引起的损失。 在两类问题中，若有 ，决策规则变为 这时最小风险的Bayes决策和最小错误率的Bayes决策规则是一致的。 条件风险： R(?1| x) = ?11P(?1| x) + ?12P(?2 | x) R(?2 | x) = ?21P(?1| x) + ?22P(?2 | x) 两类决策规则的关系 其决策规则：如果 R(?1|x) R(?2|x) 则根据决策行动?1: 判决类别?1。 将两类分类的风险条件代入上述决策规则，其等价于： 如果：(?21-?11)p(x|?1)P(?1)(?12-?22) p(x|?2)P(?2) 则：判决?1；否则为：?2 相似比(Likelihood ratio)为： 即：似然比大于某个阈值，则采取行动决策?1 (判决?1)；否则为：?2。 一般的多类问题中，设损失函数为0-1损失函数: 由此可见，最小错误率贝叶斯决策就在0-1损失函数下的最小风险贝叶斯决策。换句话说，前者是后者的特例。 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞。 类别的状态是一个随机变量，而某种状态出现的概率是可以估计的。 P(?i)这种由先验知识在识别之前就得到的概率成为状态的先验概率。 软件学院第2次课结束 理学院，计算机学院第2次课结束 * 模式识别 授课教师：薛耀红 xueyh@cust.edu.cn 第二讲 贝叶斯决策理论（1） 贝叶斯决策理论 引言 几种常用的决策规则 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的两类别决策 最小最大决策 序贯分类方法 分类器设计 2.1 引言 数据获取 预处理 特征提取与选择 分类决策 分类器设计 信号空间 特征空间 基本概念 模式分类：根据识别