两类正态分布模式的贝叶斯判别.docVIP

PAGE PAGE 7 两类正态分布模式的贝叶斯判别 硕633 3106036072 赵杜娟 一.实验目的 1．理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序； 2．了解正态分布模式的贝叶斯分类判别函数； 3．通过实验，统计贝叶斯判别的正确率。 二.实验原理 （1）贝叶斯判别原则 对于两类模式集的分类，就是要确定x是属于类还是类，这要看x来自类的概率大还是来自类的概率大，根据概率的判别规则，可以得到： 如果 则 如果 则 （1.1） 利用贝叶斯定理，可得 式中，亦称似然函数。把该式代入（1.1）式，判别规则可表示为： 则 则 或写成： 则 则 （1.2） 这里，称为似然比，称为似然比的判决阈值。该式称为贝叶斯判别。 （2）正态分布模式的贝叶斯分类器判别原理 具有M种模式类别的多变量正态分布的概率密度函数为： （1.3） 式中，是维列向量； 是维均值向量； 是协方差矩阵；为矩阵的行列式。且有 ； ；表示对类别属于的模式作数学期望运算。 可见，均值向量由n个分量组成，协方差矩阵由于其对称性故其独立元素只有个，所以多元正态密度函数完全由个独立元素所确定。取自一个正态总体的样本模式的分布是聚集于一个集群之内，其中心决定于均值向量，而其分布形状决定于其协方差矩阵，分布的等密度点的轨迹为超椭圆，椭圆的主轴与协方差矩阵的本征向量的方向一致，主轴的长度与相应的协方差矩阵的本征值成正比。 类别的判别函数可表示为： 对于正态密度函数，可对判别函数取自然对数，即： 将（1.3）代入上式，简化后可以得到： 这是正态分布模式的贝叶斯判别函数。显然，上式表明是超二次曲面，所以对于两类正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。 对于两类问题，判别界面方程为： 即： 判别条件为： 如果， 则 如果， 则 应指出，贝叶斯分类规则是基于统计的概念，因此要有大量的模式样本，才能获得最优的结果。 三 实验内容及结果分析 1.根据实验要求，在本实验中将三组分别服从不同参数的正态分布数据两两进行分类，利用贝叶斯原理首先设定其先验概率，并从每组数据中随机抽取一定的训练样本数来进行参数估计，从而得到三组数据各自的条件概率。 2.根据条件概率，利用贝叶斯判别原则进行分类实验，得到结果。 3.实验结果分析 分别对x1，x2和x3两两进行实验，每次选取不同的先验概率和不同的训练样本数，进行训练，且训练样本是随机选取的，即在每次相同的训练样本个数的情况下所抽取的样本是不一样的。然后按照训练后的结果得到的每组的条件概率，对全部数据进行分类。各自在选取相同训练样本个数的条件下进行50次分类，然后求出50次分类的平均正确率，可得下表： 先验概率 训练样本数 x1和x2 x2和x3 x1和x3 P1=0.2 P2=0.8 m=5 92.54% 74.56% 88.6% m=15 99.98% 94.32% 100% m=25 100% 95.3% 100% m=35 100% 95.32% 100% m=45 100% 95.56 100% P1=0.4 P2=0.6 m=5 88.96% 74.5% 90.88% m=15 99.94% 94.62% 100% m=25 100% 95.64% 100% m=35 100% 95.8% 100% m=45 100% 95.92% 100% P1=0.5 P2=0.5 m=5 90.06% 73.34% 90.14% m=15 99.98% 94.76% 100% m=25 100% 95.82% 100% m=35 100% 96.02% 100% m=45 100% 96.04% 100% 分析表格，可以得到： x1和x2之间的分类，无论先验概率是多少，在选取的样本数m=5时，分类的正确率都比较低，m＝15时，正确率接近100％，样本数再大，正确率就会达到100％。这说明x1和x2之间的分类，在训练样本数较小时，分类效果较差；在样本数选取较大时，分类效果比较理想。 x2和x3之间的分类，在训练样本数较小时，分类正确率很低，仅有70％左右，随着训练样本数的增多，正确率增大，直到选取45个训练样本时正确率大于95％，但达不到100％。这说明x2和x3这两组数据很接近，无论先验概率选取多少，训练样本数是多少