西电模式识别大作业.docxVIP

题目：模式识别

学院：电子工程学院

专业：智能科学与技术

学生姓名：****

学号：02115***

模式识别大作业

问题描述

分别用近邻法和Fisher线性判别准那么对Wdbc和sonar数据进行分类并计算识别率。

二、算法介绍

近邻法

假定有c个类别W1,W2,…,Wc的模式识别问题，每类有标明类别的样本Ni个〔i=1,2,…,c〕，我们规定Wi类的判别函数为

g

假设g

那么决策x∈Wj

Fisher线性判别

假设有一集合包含N个d维样本，其中N1个属于类的样本记为子集X1，N2个属于类的样本记为X2。假设对Xn的分量做线性组合可得标量

y

这样便得到N个一维样本yn组成的集合，并可分为两个子集Y1和Y2。

定义各类样本均值向量mi：

m

样本类内离散度矩阵Si和总类内离散度矩阵Sw：

S

S

样本类间离散度矩阵Sb：

S

我们希望投影后，在低维空间里个样本尽可能的分开些，即希望两类均值(m1-m2)越大越好，同时希望各类样本内部尽量密集，即Si越小越好。因此，我们定义Fisher准那么函数为:

J

J

采用Lagrange乘子法求解它的极大值

我们很容易得到

w

忽略比例因子R/λ，得

w

这就是我们Fisher准那么函数取极大值时的解。

三、实验数据

表1实验数据

类别数

特征维数

样本个数

Wdbc

2

30

M:212

B:357

sonar

2

60

W1:98

W2:110

表2实验结果〔准确率%〕

不降维(最近邻法)

降维(Fisher判别)

Wdbc

78%

96%

sonar

73%

69%

四、实验结果

Wabc

由结果可知，在特征向量维数较低时，用Fisher判别准那么的正确率较高且比拟稳定。最近邻法的正确率比Fisher低，且正确率依赖于随机抽取的训练样本，波动较大。

Sonar

由结果可知，在特征向量维数较高时，用最近邻法那么的正确率较高，但其正确率依赖于随机抽取的训练样本，波动较大。Fisher判别准那么的正确率比Fisher低，但较稳定。

代码为：

Wdbc:

clc;

totalsum1=0;

totalsum2=0;

truerate=zeros(2,10);

forii=1:10

data=load(wdbc.txt);

data1=data(1:212,2:32);%任取w1类数据中的106组

rbow1=randperm(212);

trainsample1=data1(rbow1(:,1:106),1:31);

rbow1(:,107:212)=sort(rbow1(:,107:212));%剩余的106组按行下标大小顺序排列

testsample1=data1(rbow1(:,107:212),1:31);

data2=data(213:569,2:32);%任取w2类数据中的178组

rbow2=randperm(357);

trainsample2=data2(rbow2(:,1:178),1:31);

rbow2(:,179:357)=sort(rbow2(:,179:357));

testsample2=data2(rbow2(:,179:357),1:31);

trainsample=cat(1,trainsample1,trainsample2);%包含284组数据的样本集

testsample=cat(1,testsample1,testsample2);%包含285组数据的测试集

newchar=zeros(1,285);sum=0;

[i,j]=size(trainsample);%i=284,j=31

[u,v]=size(testsample);%u=285,v=31

result=0;

min=1000000000;

true1=0;

error1=0;

forx=1:u%最近邻法

fory=1:i

forz=2:31

result=result+((testsample(x,z)-trainsample(y,z))^2);%欧氏距离

end;