第2章 贝叶斯决策理论与统计判别方法.pdf

第2章贝叶斯决策理论与统计判别方法

模式识别第2章贝叶斯决策理论与统计判别方法武汉大学电子信息学院1

贝叶斯决策理论模式识别学习指南??主要内容是说明分类识别中为什么会

有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？在理论上指

明了怎样才能使错分类最少？??不同的错分类造成的危害是不同的，有的错分类

种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风

险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的

概念，以及在引入“风险”概念后的处理方法。武汉大学电子信息学院2

贝叶斯决策理论模式识别理解这一章的关键是要正确理解先验概率，类概率

密度函数，后验概率这三种概率，对这三种概率的定义，相互关系要搞得清清楚

楚。Bayes公式正是体现这三者关系的式子，要透彻掌握。武汉大学电子信息学

院3

贝叶斯决策理论模式识别2.1引言??模式识别是一种分类(classify)问

题，即根据识别对象所呈现的观察值，将其分到某个类别中去。统计决策理论是

处理模式分类问题的基本理论之一，对模式分析和分类器(classifier)的设计起

指导作用。贝叶斯决策理论是统计模式识别中的一个基本方法，我们先讨论这一

决策理论，然后讨论涉及统计判别方法的一些基本问题。武汉大学电子信息学院

4

贝叶斯决策理论模式识别特征向量与特征空间??例：苹果的直径尺寸限定在

7厘米到15厘米之间，它们的重量在3两到8两之间变化。如果直径长度x用

厘米为单位，重量y以两为单位。那么，由x值从7到15，y值从3到8包围的

二维空间就是对苹果进行度量的特征空间。??总体概率分布已知??要决策分类的

类别数一定武汉大学电子信息学院5

贝叶斯决策理论模式识别贝叶斯决策理论所要讨论的问题??各类别ω

i=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知的条件下，

如何对某一样本按其特征向量分类的问题。??几种常用的决策规则??正态分布时

统计决策的问题以及错误概率等问题武汉大学电子信息学院6

贝叶斯决策理论模式识别2.2几种常用的决策规则??不同的决策规则反映

了分类器设计者的不同考虑，对决策结果有不同的影响。其中最有代表性的是:

基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策武汉大学电子信息学

院7

贝叶斯决策理论模式识别2.2.1基于最小错误率的贝叶斯决策??分类识别

中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多

大？??当某一特征向量X只为某一类物体所特有，即对其作出决策是容易的，

也不会出什么差错。问题在于出现模棱两可的情况。此时，任何决策都存在判错

的可能性。??条件概率：P(*|#)是条件概率的通用符号，P(ωK|X)是表示在X

出现条件下，样本为ωK类的概率。武汉大学电子信息学院8

贝叶斯决策理论模式识别先验概率，后验概率，概率密度函数??先验概率

P(ω1)及P(ω2)由先验知识在识别前就得到的概率??后验概率P(ω1|X)??概率

密度函数P(X|ω1)及P(X|ω2)??联合概率P(X,ω)i武汉大学电子信息学院9

贝叶斯决策理论模式识别先验概率，后验概率，概率密度函数??Bayes(贝叶

斯)公式是根据联合概率这一概念推出的P(x,ω)=P(x|ω)P(ω)=P(ω|x)P(x)

iiii贝叶斯公式实质上是通过观察x,把状态的先验概率P()Ζ转化为后验概率

P(|Ζx)ii武汉大学电子信息学院10

贝叶斯决策理论模式识别图2.1武汉大学电子信息学院11

贝叶斯决策理论模式识别图2.2武汉大学电子信息学院12

贝叶斯决策理论模式识别基于最小错误率的贝叶斯决策基于最小错误概率

的贝叶斯决策理论就是按后验概率的大小作判决的（1）后验概率：如果则武汉

大学电子信息学院13

贝叶斯决策理论模式识别（2）如果则（3）似然比：如果则否则武汉大学电

子信息学院14

贝叶斯决策理论模式识别（4）似然比写成相应的负对数形式：如果则否则

武汉大学电子信息学院15

贝叶斯决策理论模式识别例2.1??假设在某地区切片细胞中正常(ω1)和异

常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞

呈现出状态x，由其类条件概率密度分布曲