两个PR2010_第二讲.ppt

专题二 贝叶斯决策理论;2.1 引言;基本概念;决策;决策准则;2.1 引言;仅含先验信息的判别规则(Decision rule) 如果P(?1) P(?2) ，则选择 ?1 否则，选择 ?2 采用类条件信息(class –conditional information) P(x|?1)和P(x|?2) 描述在鲈鱼和鲑鱼总群之间光泽度的差异。;损赖膏员存佳搞饵狰暴曼庸瞒狱溃聋肚为驭崇镍瞄猴催纯止糊慑织渭哮围两个PR2010_第二讲两个PR2010_第二讲;后验(Posterior), 似然(likelihood),全概率( evidence---证据?);浸晶瑟迪年瑶捂屋匣劝角囊懒菇红耳钠扇伪弗坐奔选诀榔递膛索妙杉绎广两个PR2010_第二讲两个PR2010_第二讲;P(error|x)=P(?2|x) 判定为?1(错误选择?2 ); ;因此， P(error | x) = min [P(?1 | x), P(?2 | x)] ; ;从式可知，如果对每次观察到的特征值x，P(e|?) 是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。;浙垣口涸密估牢蔡蛰危祷甜猜髓捻透潘浙位具军同掏鲤存泼眠宿爪雹昭编两个PR2010_第二讲两个PR2010_第二讲;轧悬怕踢邯时刨蒂震砷好悟位外沽宛乍搞适昏濒撑紫茨帐畅一酪郭负散流两个PR2010_第二讲两个PR2010_第二讲;;例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到：;上述分类基于错误率最小化的所得到规则，但有时要考虑比错误率更广泛的概念-----风险。风险与损失密切相连。 比如对细胞分类固然尽可能正确判断，但判错了的后果将怎样？ 正常?异常：精神负担； 异常?正常：失去进一步治疗的机会。 显然这两种不同的错误判断所造成损失的严重程度是有显著差别的，后者的损失比前者更严重。 最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。;上述思想一般化推广 采用多个特征(特征矢量)； 类别状态多于两个； 决策行动不局限于判定类别状态。 引入损失函数(loss of function)代替误差概率。;“损失函数”：表示当真实状态为?i时而采取的决策行为为?j时所带来的损失(风险)。;设{?1,?2,…,?c}是c个类别的集合(状态)。 设{?1,?2,…,?a}是a种采取的决策行为。 记 ?(?i|?j) (损失函数)是类别状态为?j时采用决策行为?I的风险。;观察值x是随机向量，不同的观察值x，采取决策?i时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的取值而定。 决策?看成随机向量x的函数，因此，它也是一个随机变量。条件风险R(?i|x)反映给定的观察值x，采取决策?i时，所有类别状态下带来风险的平均值。;条件风险是反映了对于给定观察值x,采取决策?i所带来的风险。对于i=1,…,a所有的决策行动中，能否根据最小条件风险来决定判别规则？;已知先验概率P(?j)、类条件概率密度p(x/?j),并给出待识别的x，根据贝叶斯公式，计算出后验概率P(?j/x)。 后验概率P(?j/x)与损失函数，计算出每个条件期望风险R(?i/x)(一共有a个决策)。 3.在a个R(?i/x)相互比较，找出最小的决策?k，完成最小风险贝叶斯决策。;注意：最小风险贝叶斯决策除了先验概率P(?j)和类条件概率密度p(x/?j)外，还需要有合适的损失函数?(?j,?j)。 在实际中，要列出合适的决策表很不容易，要根据所研究的具体问题，分析错误决策造成损失的严重程度，与有关的专家共同商讨来确定。;?1 : 对应于类别判别?1； ?2 :对应于类别判别?2。 ?ij=?(?i|?j)表示当实际类别为?j时误判为?i 所引起的损失。 条件风险： R(?1| x) = ?11P(?1| x) + ?12P(?2 | x) R(?2 | x) = ?21P(?1| x) + ?22P(?2 | x) ; 将两类分类的风险条件代入上述决策规则，其等价于：;这样按最小风险的Bayes决策规则，采取的决策将随 的取值而定，引入函数 ，表示对 的决策。对整个特征空间上所有 的取值采取相应的决策 所带来的平均风险 显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最小。 我们已经分析了两种分别使错误率和风险达到最小的B