[理学]模式识别导论二.pptVIP

模式识别Pattern Recognition;第二章 贝叶斯决策理论;2-1 引言;对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/ ω ?) ?=1,2,…。如图所示 利用贝叶斯公式 ： 通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。;设N个样本分为两类ω1，ω2。每个样本抽出n个特征， x =（x1， x2， x3，…， xd）T;2、决策规则：;2、决策规则：; 3、决策面方程： x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： 解：该细胞属于正常细胞还是异常细胞，先计算后验概率：;g(x);2、多类情况：ω?=(ω1,ω2,…,ωc)，x=(x1,x2,…,xd) 1.判别函数：M类有M个判别函数g1(x), g2(x),…, gd(x).每个判别函数有上面的四种形式。 2.决策规则：;3、决策面方程： 4、分类器设计：;一般错误率分析：;2021/6/30;2021/6/30;二、最小风险Bayes分类器 假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ；第二类，判错(正常→肺病) λ21 ； 第三类，判对(肺病→肺病) λ22；第四类，判错(肺病→正常) λ12 。 在判断时，除了能做出“是” ωi类或“不是” ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念：;假定有c类问题，用 表示类型，用 表示可能作出的判决。实际应用中，判决数a和类型数c可能相等，a＝c；也可能不等，即允许除c类的c个决策之外，可以采用其它决策，如“拒绝”决策，此时a＝c+1。 ;行动αi：表示把模式x判决为ωi类的一次动作。 损耗函数λii=λ(αi/ωi)表示模式X本来属于ωi类而错判为ωi所受损失。因为这是正确判决，故损失最小。 损耗函数λij=λ(αi/ωj)表示模式X本来属于ωj类错判为ωi所受损失。因为这是错误判决，故损失最大。 风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗） ;由于判决数目有a个，这样对于不同的判决和不同类型就有一个a*c维风险矩阵。 ;条件风险只反映对某x取值的决策行动αi所带来的风险。期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。;实施最小风险判决规则的步骤如下： 在给定样本x条件下，计算各类后验概率;2021/6/30;二类问题：把x归于ω1时风险： 把x归于ω2时风险：;2021/6/30;三、在一类错误率固定使另一类错误率最小的判别准则（聂曼-皮尔逊判决neyman-pearson）;2021/6/30;2021/6/30;例：两类的模式分布为二维正态 协方差矩阵为单位矩阵∑1=∑2=I，设ε2＝0.09求聂曼皮尔逊准则 T. 解：;2021/6/30;所以此时聂曼——皮尔逊分类器的分界线为： ;四、最大最小判别准则 前边的讨论都是假定先验概率不变，现在讨论在P(ωi)变化时如何使最大可能风险最小，先验概率P(ω1)与风险R间的变化关系如下：;2021/6/30;2021/6/30;这样，就得出最小风险与先验概率的关系曲线，如图所示： ;2021/6/30;上式证明，所选的判别边界，使两类的概率相等： ;五、序贯分类 迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。 假设对样品进行第 i 次观察获取一序列特征为：X=(x1,x2,…,xi)T 则对于ω1，ω2两类问题, 若X ∈ ω1，则判决完毕 若X∈ ω2 ，则判决完毕 若X不属ω1也不属ω2 ，则不能判决，进行第i+1次观察，得X=(x1,x2,…,xi,,x i+1)T ，再重复上面的判决，直到所有的样品分类完毕为止。 这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。;由最小错误概率的Bayes 判决，对于两类问