模式识别理论及应用.ppt

模式识别理论及应用Pattern Recognition - Methods and Application 第二章 贝叶斯决策理论 内容目录 2.1 引言 基本概念 模式分类：根据识别对象的观测值确定其类别 样本与样本空间： 决策 决策准则 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则 2.2 基于判别函数的分类器设计 判别函数 (discriminant function)：相应于每一类定义一个函数，得到一组判别函数gi(x), i = 1,2,…,c 决策区域与决策面(decision region/surface)： 决策规则(decision rule) 分类器设计 分类器是某种由硬件或软件组成的“机器”： 计算c个判别函数gi(x) 最大值选择 2.3 Bayes最小错误率决策 以两类分类问题为例：已知先验分布P(ωi)和观测值的类条件分布p(x|ωi)，i=1,2问题：对某个样本x，x∈ ω1? x∈ ω2？ 后验概率P (ωi| x)的计算 Bayes公式： 假设已知先验概率P(ωi)和观测值的类条件分布p(x|ωi)，i=1,2 公式简化 比较大小不需要计算p(x)： 公式简化 Bayes最小错误率决策例解 两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为： 正常(ω1)： P(ω1)=0.9 异常(ω2)： P(ω2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|ω1)=0.2， p(x|ω2)=0.4 如何对细胞x进行分类？ Bayes最小错误率决策例解（2） 利用贝叶斯公式计算两类的后验概率： 图解 决策的错误率 条件错误率： 决策的错误率（2） 决策的错误率（3） 决策的错误率（4） 设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。两个决策区域:R1~(-∞，t)和R2~(t，+∞) 2.4 基于最小风险的Bayes决策 决策的风险： 做决策要考虑决策可能引起的损失。 以医生根据白细胞浓度判断一个人是否患血液病为例： 没病(ω1)被判为有病(ω2) ，还可以做进一步检查，损失不大； 有病(ω2)被判为无病(ω1) ，损失严重。 损失矩阵 损失的定义：(N类问题)做出决策D (x)=ωi，但实际上 x ∈ωj，受到的损失定义为： 期望条件风险与期望风险 期望条件风险：获得观测值x后，决策D(x)造成的损失对x实际所属类别的各种可能的平均，称为条件风险R(D(x)|x) 基于最小风险的Bayes决策 基于最小风险的Bayes决策：决策带来的损失的（平均）风险最小 Bayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。 最小风险决策的计算 给定损失矩阵，算出每个决策的条件风险，取最小的。 某些特殊问题，存在简单的解析表达式。 两类问题最小风险Bayes决策 用Bayes公式展开，最小风险Bayes决策得到： Bayes最小风险决策例解 两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为： 正常(ω1)： P(ω1)=0.9 异常(ω2)： P(ω2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|ω1)=0.2， p(x|ω2)=0.4 λ11=0， λ12=6， λ21=1， λ22=0， 按最小风险决策如何对细胞x进行分类？ Bayes最小风险决策例解（2） 后验概率： P(ω1|x) =0.818， P(ω2|x) =0.182 最小风险决策的一般性 基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。 只需要定义损失为： 2.5 正态分布的最小错误率Bayes决策 Bayes决策中，类条件概率密度的选择要求： 模型合理性 计算可行性 常用概率密度模型：正态分布 观测值通常是很多种因素共同作用的结果，根据中心极限定理，服从正态分布。 计算、分析最为简单的模型。 一元正态分布 一元正态分布及其两个重要参数： 均值（中心） 方差（分散度） 多元正态分布 观测向量：实际应用中，可以同时观测多个值，用向量表示。多元正态分布： 多元正态分布的性质 参数μ和Σ完全决定分布 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性 正态分布的最小错误率Bayes决策 观测向量的类条件分布服从正态分布： 最小距离分类器与线性分类器 第一种特例： 最小距离分类器与线性分类器 第二种特例： 正态模型的Bayes决策面 两类问题正态模型的决策面：