孙杨威12281201模式识别第五次实验报告.docVIP

实 验 报 告 学生姓名： 孙杨威 学 号 实验地点：九教北401综合实验室 实验时间：2014.10.30 实验名称： 线性分类器设计 实验原理： 1.感知器准则算法实验： 感知器的原理结构为： 感知器”是借于上世纪五六十年代人们对一种分类学习机模型的称呼，源于对生物智能的仿生学领域。 定义感知准则函数：只考虑错分样本，于是 定义： ，其中X0为错分样本 当分类发生错误时就有WTX 0，或－WTX 0, 所以J(W) 总是正值，错误分类愈少， J(W)就愈小。理想情况为 ，即求最小值的问题。 求最小值，对W求梯度 代入迭代公式中Wk+1 = Wk-ρk▽J 由J(W)经第K+1次迭代时，J(W)趋于0，收敛于所求的W值。 2．基于Fisher准则线性分类器设计： Fisher准则函数： Fisher准则函数下的最优投影方向： 向量 就是使Fisher准则函数 达极大值的解，也就是按Fisher准则将2维X空间投影到一维Y空间的最佳投影方向，该向量 的各分量值是对原2维特征向量求加权和的权值。 以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的2维向量 的计算方法，但是判别函数中的另一项 尚未确定，一般可采用下式确定： 当W0确定之后，则可按以下规则分类  实验内容： 实验一： 实验所用样本数据如表1给出（其中每个样本空间（数据）为两维，x 1表示第一维的值、x 2表示第二维的值），编制程序实现ω1、ω 2类ω 2、ω 3类的分类。分析分类器算法的性能。 具体要求： 1、复习感知器算法； 2、写出实现批处理感知器算法的程序 1）从a=0开始，将你的程序应用在ω1和ω2的训练数据上。记下收敛的步数。 2）将你的程序应用在ω2和ω3类上，同样记下收敛的步数。 实验二： 已知有两类数据 和 。 中数据点的坐标对应如下： 实验步骤： 1.把数据作为样本，根据Fisher选择投影方向 的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向 的函数，并在图形表示出来，并求 使 取极大值的 。用matlab完成Fisher线性分类器的设计，程序的语句要求有注释。 2.根据上述的结果并判断( 1，1.5，0.6 )，(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)， ( 0.23，2.33，1.43 ) ，属于哪个类别，并画出数据分类相应的结果图，画出其在 上的投影 实验代码及分析： 实验一： Perceptron.m文件输入以下代码： clear all; clc; %original data %产生第一类、第二类和第三类原始数据，分别赋给w1、w2 和w3 变量 w1=[0.1 6.8 -3.5 2.0 4.1 3.1 -0.8 0.9 5.0 3.9;1.1 7.1 -4.1 2.7 2.8 5.0 -1.3 1.2 6.4 4.0]; w2=[7.1 -1.4 4.5 6.3 4.2 1.4 2.4 2.5 8.4 4.1;4.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -6.1 3.7 -2.2]; w3=[-3.0 0.5 2.9 -0.1 -4.0 -1.3 -3.4 -4.1 -5.1 1.9;-2.9 8.7 2.1 5.2 2.2 3.7 6.2 3.4 1.6 5.1]; %normalized %分别产生第一类、第二类和第三类增广样本向量集ww1、ww2 和ww3 ww1=[ones(1,size(w1,2)); w1]; ww2=[ones(1,size(w2,2)); w2]; ww3=[ones(1,size(w3,2)); w3]; %产生第一类和第二类样本向量的规范化增广样本向量集w12 w12=[ww1,-ww2];%4-42 %%w13=[ww1,-ww3]; %%w23=[ww2,-ww3]; y=zeros(1,size(w12,2)); %产生1x20 的行向量，赋给y，初值全为0 v=[1;1;1]; %给权向量v 赋初值 k=0; %k 为迭代次数，v(0)= [1;1;1] while any(y=0) for i=1:size(y,2) y(i)=v*w12(:,i); end v=v+(sum((w12(:,find(y=0))))); k=k+1; end v %显示最终求得的