重庆大学模式识别-tpzhang-2.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 由上面的判决规则，有: * 有数学手册可查得: 可算得 与 的关系如下表所示： ? 4 2 1 1/2 1/4 ?21 0.046 0.089 0.0159 0.258 0.378 * x1 x2 ?2 ?1 -1 ?1 1 ?2 ?2 ?1 t=-(1/2)ln ? 由设定的 ，查上表可得 ，对应的 ，从而得此问题的判决规则为: ，则判 若 * 本章主要介绍了贝叶斯统计决策理论为基础的贝叶斯分类方法,其中包括了最小误判概率、最小损失准则等，依据这些准则设计的分类器，从理论上讲是最优的性能，即分类的错误率或风险在所有可能的分类器中为最小，因此经常被用来作为衡量其他分类器设计方法优劣的标准。 由于正态分布在物理上的合理性和数学上的计算简便性，我们详细介绍了贝叶斯分类方法在正态分布下的几种特殊情形，导出了其对应的判决函数、决策面方程及相应的几何描述。 * 下面我们简单回顾一下本章所学的几种贝叶斯决策准则: 1、最小误判概率准则 如果 则判 两类时: 多类时: 如果 判 * 2、最小损失准则 则判 如果 两类时: 多类时: 计算 若 则判 * 3、含拒绝判决的最小损失准则 拒判 其中： 拒判损失 误判损失 正确判决损失 两类时: * 3、含拒绝判决的最小损失准则 多类时: 计算 若 则判 其中 为拒绝判决。 * 4、最小最大损失准则 如果 则判 是如何获得的？ 让 从0 逐渐变化到1，按最小损失准则算出最 小平均损失，即取各类条件平均损失的最小者。 由此可得出R—P(w1)曲线，最大的R对应的P(w1)就是 * 5、N-P准则 如果 ， 则判 l是如何获得的？ 由 固定e0反求l * 例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示，其中，类型w1和w2分别表示灌木和坦克，判决a1=w1，a2=w2，a3表示拒绝判决。现在做了四次试验，获得四个样本的类概率密度如下： P(x|w1):0.1, 0.15, 0.3, 0.6, P(x|w2):0.8, 0.7, 0.55, 0.3 w1 w2 a1 2.5 2.0 a2 4.0 1.0 a3 1.5 1.5 （1）用最小误判概率准则，判断四个样本各属哪一个类型。 问： （3） 把拒绝判决考虑在内，重新考核四次试验的结果。 （2）假定只考虑前两种情况，试用最小损失准则判断四个样本各属于哪一个类型。 类型 判决 损 失 * 答: 求出四个样本两类的似然比。 最小误判概率准则时的阈值： （1） 因此按最小误判概率准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。 * （2） 按最小损失准则判决 因此按最小损失准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。 最小损失准则时的阈值： * （3） 带拒绝的最小损失准则判决 由于是比较大小,可忽略p(x),即只需计算 * （3） 带拒绝的最小损失准则判决 因此第一、 第二、第三、第四样本均拒判。 =2.5*0.7*(0.1,0.15,0.3,0.6)+2.0*0.3*(0.8,0.7,0.55,0.3) =(0.655, 0.683, 0.855, 1.23) =4.0*0.7*(0.1,0.15,0.3,0.6)+1.0*0.3*(0.8,0.7,0.55,0.3) =(0.52, 0.63, 1.005, 1.77) =1.5*0.7*(0.1,0.15,0.3,0.6)+1.5*0.3*(0.8,0.7,0.55,0.3) =(0.465, 0.473, 0.563, 0.765) * 利用贝叶斯分类器实现手写数字识别的例子 对每个手写的数字样品, 按NxN方式划分,共有25份，如图所示。 对每一份内的象素个数进行累加统计,除以每一份内的象素总数,设定阈值T=0.05,若每一份内的象素占有率大于T则对应的特征值为1,否则为0. 1、理论基础 （1）先计算先验概率 2、实现步骤 P(wi)类别为数字i的先验概率 Ni数字i的样品数 N为样品总数 * 利用贝叶斯分类器实现手写数字识别的例子 2、实现步骤 （2）计算 ，再计算类条件概率 表示样品X属于wi类条件下，X的第j个分量为1的