模式识别报告bayes分类.docx

西安交通大学《模式识别》实验一——IRIS正态分布假设下的贝叶斯分类吴娟梅 硕20813112313030实验原理对于具有多个特征参数的样本（如本实验的iris数据样本有个参数），其正态分布的概率密度函数可定义为式中，是维行向量，是维行向量，是维协方差矩阵，是的逆矩阵，是的行列式。本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数（3个类别）其中为类别发生的先验概率，为类别的类条件概率密度函数。由其判决规则，如果使对一切成立，则将归为类。我们根据假设：类别，i=1,2,……,N的类条件概率密度函数，i=1,2,……,N服从正态分布，即有~，那么上式就可以写为对上式右端取对数，可得上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。则判别函数可简化为以下形式实验过程1.用部分数据来估计均值、协方差首先读入数据clear allclc% 原始数据导入，原数据以文本的形式存储,iris是一个L*12的矩阵,L为数据长度iris = load(C:\Documents and Settings\Administrator\IRIS_Data.txt);%求出数据长度Ldisplay(数据长度为)L=length(iris)%iris是一个L*12的矩阵，12列共分为三类数据，每类占4列%将数据分类存储于三个数组w1=iris(1:L,1:4);w2=iris(1:L,5:8);w3=iris(1:L,9:12);然后选取训练样本估计均值、协方差。训练样本的选取有很多种方法，我们采用两种较为常见的方法进行选取。方法一是顺序选取。分别试取[1:10]、 [11:50]两组数据进行训练，用于对比训练数据多寡对于分类效果的影响。%顺序选取，参数可调，待输入选取的训练样本的起始点和截止点display(请输入每类训练样本在顺序选取时的);N0 = input(数据起始点(大于0小于L的整数)N0=);Nj = input(数据截止点(大于N0小于L的整数)Nj=);display(则训练样本长度为)N=Nj-N0+1%提取样本的统计特征值，均值和协方差display(用上述部分数据估计的三类样本均值、协方差依次为);mean1=mean(w1(N0:Nj,:))mean2=mean(w2(N0:Nj,:))mean3=mean(w3(N0:Nj,:))cov1=cov(w1(N0:Nj,:))cov2=cov(w2(N0:Nj,:))cov3=cov(w3(N0:Nj,:)) 方法二是随机选取N个数据。试随机取N=10、N=40两组数据进行训练。同样也是用于比对训练数据的多寡对分类器的性能有何影响。clear allclc% 原始数据导入，原数据以文本的形式存储,iris是一个L*12的矩阵,L为数据长度iris = load(C:\Documents and Settings\Administrator\IRIS_Data.txt);%求出数据长度Ldisplay(数据长度为)L=length(iris)%iris是一个L*12的矩阵，12列共分为三类数据，每类占4列%将数据分类存储于三个数组w1=iris(1:L,1:4);w2=iris(1:L,5:8);w3=iris(1:L,9:12);%随机选取，参数可调，待输入选取的训练样本的个数NN=input(请输入每类训练样本在随机选取时的样本长度为N=);%随机选取N个训练样本，即产生N个不大于数据长度L的不重复的整数作为其样本序号Numberranddata=randperm(L);Number1=randdata(1:N);Number=sort(Number1);%提取样本的统计特征值，均值和协方差display(用上述部分数据估计的三类样本均值、协方差依次为);mean1=mean(w1(Number,:))mean2=mean(w2(Number,:))mean3=mean(w3(Number,:))cov1=cov(w1(Number,:))cov2=cov(w2(Number,:))cov3=cov(w3(Number,:))2. 用后验概率去判断数据的类型首先选取测试分类数据。令先验概率可变，即选取不同的测试数据组数进行实验。试取测试数据组数为10、10、10，正常取值，来考查前述训练样本数对分类结果的影响。再试取数据组数为试取数据组数为4、40、50；45、4、3进行分类。研究当先验概率很小时对分类效果的影响。%选取w1[N10:N1j],w2[N20:N2j],w3[N30:N3j]用作每类测试的分类样本，可变先验概率%顺序选取，参数可调，待输入选取的测试分类样本的起始点和截止点%1类测试分类数据display(请输入1类测试分类样本