第2章 随机模式的分类方法1精要.doc

第2章 随机模式的分类方法 该方法基于贝叶斯决策理论，往往以某种概率的形式给出。本章首先介绍贝叶斯分类方法中的一般性的判决规则，并且抽象出随机模式的判决函数和决策面方程，给出2种分类器结构。 2.1 引言 随机模式：在可以觉察到的客观世界中，存在着大量的物体和事件，他们在基本条件不变时，具有某种不确定性，每一次观测的结果没有重复性，这种模式就是随机模式。 虽然随机模式样本测量值具有不确定性，但同类抽样实验的大量样本的观测值具有某种统计特性，这个统计特性是建立各种分类方法的基本依据。 先看一下确定性模式判决函数的问题。 如下图所示： 通过判决函数，特征空间被区分界面划分成两种类型的区域A和B。由于模式样本的观测值是确定性的，经常被正确分配到类型区域A、B之中。假如我们用概率的形式来表达，就是：在类型A的条件下观测模式样本x，则x位于区域A的概率为1，而位于区域B的概率为0。同样，在类型B的条件下观测模式样本x，情况正好相反，x位于区域A的概率为0，而位于区域B的概率为1。这实际上是将概率的方法引入到确定模式，对于大多数实际情况，这是非常理想的概率分布。 许多实际情况，即使在类型A的条件下，模式样本x位于区域A的概率也往往小于1，而位于区域B的概率也不为0。对于类型B的条件也一样。这种交错分布的样本使分类发生错误，是模式随机性的一种表现。此时，分类方法就从确定性模式转到随机模式。 Bayes决策理论是随机模式分类方法最重要的基础。下面是几个重要的概念： 先验概率 先验概率是预先已知的或者可以估计的模式识别系统位于某种类型的概率。 若仍然用两个类型A和B为例，可用和表示各自的先验概率，此时满足。 推广到一般的c类问题中，用表示类型，则各自的先验概率用表示，且满足： 其实，在处理实际问题时，有时不得不以先验概率的大小作为判决的依据。如：有一批木材，其中桦木占70％，松木占30％，A――桦木，B－－松木，则，，如果从中任取一块木材，而又要用先验概率作出判决，那就判为桦木。 先验概率不能作为判决的唯一依据，但当先验概率相当大时，它也能成为主要因素。 2．类（条件）概率密度 它是系统位于某种类型条件下，模式样本x出现的概率密度分布函数，常用，以及来表示。 先验概率密度在分类方法中起至关重要的作用，它的函数形式及主要参数或者是已知的，或者是可通过大量抽样实验估计出来。 3. 后验概率 它是某个具体的模式样本x位于某种类型的概率，常以，以及表示。 后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。 例如：一个2类问题，w1表示诊断为无癌症，w2诊断为有癌症。P(w1) 表示诊断正常的概率，P(w2) 表示某地区的人被诊断出患上癌症的概率，该值可以通过大量的统计得到，x表示“试验反应呈阳性”。那么，P(x|w1)表示诊断为无癌症且试验反应为阳性，P(w1|x)表示试验为阳性，而且没有癌症。同样，可以有w2的类概率密度和后验概率。 2.2 最小错误率判决规则（最简单的Bayes分类方法） 分析一个“两类问题”。 以上一个例子为例，用w1和w2表示两种不同的类型，如w1表示诊断正常，w2表示诊断出患有癌症。 用和分别表示先验概率。如：诊断正常的概率，表示某地人患癌症的概率，可通过大量的统计得到。 用和表示两个类概率密度。 样本x表示“试验反应阳性”，则诊断为无癌症且试验反应为阳性，试验为阳性且没有癌症。 根据全概率公式，模式样本x出现的全概率密度为： （2.2－1） 根据Bayes公式，在模式样本x出现的条件下，两个类型的后验概率为： ， （2.2－2） 此时，样本归属于“后验概率较高”的那种类型。 也就是： ，则 ，则 （2.2－3） ，则偶然决定，或 根据（2.2－2）式，上述判决规则等价于： ，则 ，则 （2.2－4） ，则偶然决定，或 上面只是给出了最小错误率贝叶斯决策规则，但没有证明按这种规则进行分类确实使错误率最小。 可以把上述两类问题导出的最小错误率判决规则一般化，推广到c类问题中，表达为： 若：，则， 等价于：，则 例1：为了对癌症进行诊断，对一批人进行一次普查，各每个人打试验针，观察反应，然后进行统计，规律如下： 这一批人中，每1000个人中有5个癌症病人； 这一批人中，每100个正常人中有一个试验呈阳性反应； 这一批人中，每100个癌症病人中有95人试验呈阳性反应。 问：若某人（甲）呈阳性反应，甲是否正常？ 解：假定x表示实验反应为阳性， 人分为两类：w1－正常人，w2－癌症患者， 由已知条件计算概率值： 先验概率：， 类条件概率密度：， 决策过程