第二章基于统计决策的概率分类法.pptVIP

第2章 ;2.1 研究对象及相关概率 2.2 贝叶斯决策 2.3 贝叶斯分类器的错误率 2.4 聂曼-皮尔逊决策 2.5 概率密度函数的参数估计 2.6 概率密度函数的非参数估计 2.7 后验概率密度分类的势函数方法; 获取模式的观察值时，有二种情况： * 确定性事件：事物间有确定的因果关系。第三章内容。 * 随机事件：事物间没有确定的因果关系，观察到的特征具有 统计特性，是一个随机向量。只能利用模式集的统计特性进 行分类，使分类器发生分类错误的概率最小。;（3）对于两两互斥的事件A1，A2，…有;（1）概率乘法公式：如果P(B)0，则联合概率 P(AB)= P(B) P(A|B) = P(A) P(B|A) =P(BA); 今后的分类中常用到类概率密度p(X |ωi) ：ωi类的条件概 率密度函数，通常也称为ωi的似然函数。 ;P(ω2| X) 表示试验呈阳性的人中，实际没有病的 人的概率。 ;（4）三者关系：根据(4-4)贝叶斯公式有;2. 决策规则; 虽然后验概率P(ωi| X)可以提供有效的分类信息，但先验概 率P(ωi)和类概率密度函数p(X |ωi)从统计资料中容易获得，故 用Bayes公式，将后验概率转化为类概率密度函数和先验概率的 表示。由：;对两类问题，(2-7)式相当于;例2.1 假定在细胞识别中，病变细胞的先验概率和正常细胞的 先验概率分别为 。现有一待识别细胞， 其观察值为X，从类条件概率密度发布曲线上查得：　　　　　 ;[方法2]：利用先验概率和类概率密度计算。;最小风险贝叶斯决策基本思想： 以各种错误分类所造成的平均风险最小为规则，进行分类 决策。; 对M类问题，如果观察样本X被判定属于ωi类，则条件平 均风险ri(X)指将X判为属于ωi类时造成的平均损失。; 每个X 都按条件平均风险最小决策，则总的条件平均风险也最小。总的条件平均风险称为平均风险。;由已知，先验概率和类条件概率 根据损失函数 ，计算条件风险 ;说明： 用先验概率和条件概率的形式：;2）两类情况：对样本 X;令：;解：计算 和 得：;损失函数为特殊情况：; ——最小错误率贝叶斯决策;或从式(2-20) 导出???然比形式：;2.2.3 正态分布模式的贝叶斯决策;1. 相关知识概述;3）单变量（一维）的正态分布;一维正态曲线的性质：;4）3σ规则;5）多变量（n维）正态随机向量;以二维正态密度函数为例： 等高线（等密度线）投影到x1ox2面上为椭圆，从原点O到 点M 的向量为均值M。 椭圆的位置：由均值向量M决定； 椭圆的形状：由协方差矩阵C决定。;协方差矩阵Ci：反映样本分布区域的形状； 均值向量Mi：表明了区域中心的位置。;对正态密度函数，为了方便计算，取对数：; di(X)为超二次曲面。可见对正态分布模式的Bayes分类器，两类模式之间用一个二次判别界面分开，就可以达到最优的分类效果。;2）两类问题;(2) 当C1=C2=C时：由式(2-25) 有;(3) 当;例2.3 设在三维特征空间里，有两类正态分布模式，每类各有4 个样本，分别为;解：;图中画出判别平面的一部分。;2.3 贝叶斯分类器的错误率; 设R1为ω1类的判决区， R2为ω2类的判决区，分类中可能 会发生两种错误：;(4-33);两类问题的最小错误率贝叶斯决策规则 ：;两类问题最小错误率贝叶斯决策中错误率P(e|X)为：; 在最小错误率贝叶斯决策中，判别界面位于两曲线的交点 处，即：; 通常需要考虑总错误概率，仅使一类样本的错误概率最小 是没有意义的，因为这时另一类的错误概率可能很大。;设共有M类，当判决 时：;简化计算，假定 。;由正态分布概率密度函数;均值：;～;3．正态分布最小错误率贝叶斯决策的错误率;令;图2.10 错误率与马氏距离的关系;2.3.4 错误率的估计;设ω1类被错分的个数为k1，ω2类错分的个数为k2。;设θ是全部训练样本分布的真实参数集；;2）留一法;2.4 聂曼-皮尔逊(Neyman-Person)决策; 聂曼-皮尔逊决策出发点：在P2(e)