模式识别-Bayes决策方法.pptx

模式识别Pattern Classification 第三章: Bayes决策方法 Bayes决策方法原理根据Bayes决策理论，由先验知识来推断后验概率保证错误概率最小或风险最小3Applied Pattern Recognition CSE616 Bayes决策方法先验知识先验概率P(ωi )类概率密度P( X / ωi ) 4Applied Pattern Recognition CSE616 Bayes决策方法根据考虑问题的角度Bayes决策法最小错误概率的Bayes决策法最小风险的Bayes决策法5Applied Pattern Recognition CSE616 最小错误概率的Bayes决策一维二类情况设两类模式分别?1 和?2，其类概率密度分别为P(x / ?1)和 P(x / ?2),先验概率为P(?1)和 P(?2)P ( x / ?1 )P ( x / ?2 ) x 6Applied Pattern Recognition CSE616 最小错误概率的Bayes决策一维二类情况显然：由Bayes公式〔联合概率密度知〕：7Applied Pattern Recognition CSE616 一维二类情况那么后验概率同理可得 其中最小错误概率的Bayes决策8Applied Pattern Recognition CSE616 最小错误概率的Bayes决策一维二类情况合理的决策为：对待识样本x 假设P( ?1 / x ) P( ?2 / x ) ，那么判x∈?1类　　　　　　　假设P( ?2 / x ) P( ?1 / x ) ，那么判x∈?２类9Applied Pattern Recognition CSE616 最小错误概率的Bayes决策一维二类情况上述决策等价于：对待识样本x 假设P(x / ?1) P( ?1 ) P( x / ?2 ) P( ?２ ) ，那么判x∈?1类　　假设P(x / ?2) P( ?2 ) P( x / ?1 ) P( ?1 ) ，那么判x∈?２类即由先验知识推断后验概率10Applied Pattern Recognition CSE616 最小错误概率的Bayes决策一维二类情况或： ，那么判 x∈?1 类上述分类准那么称为Bayes决策准那么似然比11Applied Pattern Recognition CSE616 最小错误概率的Bayes决策特殊情况下，假设P( ?1 ) = P( ?２ ) ，那么分类决策完全由类概率密度函数决定。 即： 假设P( x / ?1) P( x / ?2 ) ， 那么判x∈?1类　 假设P( x / ?2) P( x / ?1 ) ， 那么判x∈?２类12Applied Pattern Recognition CSE616 最小错误概率的Bayes决策以鱼自动分类为例，假设仅选取鱼的长度作为特征，那么两类鱼的类概率密度函数P(x / ?1) 和 P( x / ?2 ) 如下：13Applied Pattern Recognition CSE616 最小错误概率的Bayes决策类概率密度来源来统计直方图鲈 鱼鲑 鱼14Applied Pattern Recognition CSE616 最小错误概率的Bayes决策两条曲线描述了两类鱼的长度区别概率密度函数已归一化，因此每条曲线下的面积为１，即：15Applied Pattern Recognition CSE616 最小错误概率的Bayes决策假设先验概率P( ?1 ) =2/3，P( ?２ )=1/3，那么其后验概率P( ?1 / x ) 和 P( ?2 / x )如以下图所示特征值x=14的模式如何分类？0.920.0816Applied Pattern Recognition CSE616 最小错误概率的Bayes决策错误概率最小？错误概率P ( x / ?1 ) P (?1 )P ( x / ?2 ) P (?2 ) x R1R217Applied Pattern Recognition CSE616 最小错误概率的Bayes决策错误概率最小？无论判别从哪个方向调整，均导致错误概率的增加！P ( x / ?1 ) P (?1 )P ( x / ?2 ) P (?2 ) x R1R218Applied Pattern Recognition CSE616 最小错误概率的Bayes决策多类多维情况 设Ω={ ?1， ?2， ﹒﹒﹒ ， ωc } 是 C 个类别状态的有限集合，X = [ x1，