第2章贝叶斯决策理论与统计判别方法1课件.ppt

基于最小风险的贝叶斯决策 例2.2 再计算出条件风险 基于最小风险的贝叶斯决策 例2.2 作出决策 由于R(α1|X)＞R(α2|X) 即决策为ω2的条件风险小于决策为ω1的条件风险， 因此应采取决策行动α2 即判待识别的细胞X为ω2类——异常细胞。 两种决策方法之间的关系 两种决策方法之间的关系 设损失函数为 条件风险为 错误概率 在限定一类错误率条件下使另一类错误率为最小的两类别决策 聂曼-皮尔逊判决neyman-pearson 基本思想 两种错误 一种的错误概率固定，另一种尽量小 最小最大决策 问题 先验概率未知 基本思想 使得最大可能的风险做小化 最小最大决策 序贯分类 迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。 判别函数、决策面与分类器设计 决策面与判别函数 分类决策实质上是在描述待识别对象的d维特征所组成的特征空间内，将其划分为c个决策域， 待识别的特征向量落在哪个决策域，该样本就被判为哪一类。 因此决策域的边界面就是决策面， 在数学上用解析形式表示成决策面方程。 判别函数、决策面与分类器设计 决策面与判别函数 用于表达决策规则的某些函数则称为判别函数。 显然判别函数与决策面方程是密切相关的，并且都是由相应决策规则所确定的。 判别函数、决策面与分类器设计 多类别情况下的判别函数 最小错误率作决策时 决策规则要定义一组判别函数 gi(X)， i=1,2,…，c 而决策规则可表示成 如果 ， 则将X归于ωi类； 判别函数、决策面与分类器设计 多类别情况下的决策面方程 gi(X)= gj(X) 判别函数、决策面与分类器设计 多类别情况下的分类器 判别函数、决策面与分类器设计 两类别问题中，最小错误率作决策时 决策规则的一种形式是 ，否则 则相应的判别函数就是 gi(X)＝P(ωi|X), i=1,2 而决策面方程则可写成 g1(X)＝g2(X) 判别函数、决策面与分类器设计 两类别问题中，最小错误率作决策时 此时决策规则也可以写成用判别函数表示的形式　　如果gi(X)＞gj(X) i,j=1,2 且 i≠j　　则X∈ωi，否则  判别函数、决策面与分类器设计 两类别问题中决策面方程 g (X)=0 判别函数、决策面与分类器设计 两类别问题中的分类器 Bayes决策理论小结 Bayes决策理论: 对特征空间任一点x只要能确定落在该点的样本x属于哪一种类的可能性大，就将这点划分到这类的决策域。 问题: 后验概率P(ωi|X)要通过先验概率和类概率密度函数计算。 Bayes决策是一种通用方法 只在原理上讲特征空间中符合什么条件才能作为哪一类决策域， 而我们希望能把决策域用简便的方式，最好是函数形式划分出来，直接计算判别函数就方便了。 Bayes决策理论小结 显然具体的决策域划分与样本的概率分布有关。 下面结合正态分布概率密度函数进行讨论，在讨论结束时我们会发现从中可以得到不少启示。 基于最小错误率的贝叶斯决策 为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得 ？ 计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不太容易 只能借助Bayes公式来计算得到 基于最小错误率的贝叶斯决策 问题 根据最小错误率，如何利用先验概率、类条件概率密度函数和后验概率进行分类？ 基于最小错误率的贝叶斯决策 贝叶斯决策理论前提 各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。 贝叶斯决策理论方法所讨论的问题是： 已知:总共有c类物体，以及先验概率P(ωi)及类条件概率密度函数p(x|ωi) 问题: 如何对某一样本按其特征向量分类的问题。 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策规则: 如果P(ω1|X)P(ω2|X)，则X归为ω1类别 如果P(ω1|X)≤P(ω2|X)，则X归为ω2类别 基于最小错误率的贝叶斯决策 几种等价形式： 后验概率形式: 如果 则 x归为ωi 先验概率及类条件概率密度函数表示： 如果 则 x归为ωi 基于最小错误率的贝叶斯决策 几种等价形式： 比值的方式表示， 如果 则x归为ω1 ，