中科大模式识别miniproject实验报告.doc

模式识别miniproject实验报告 算法介绍： 本实验采用了SVM（ Support Vector Machines）分类模型。由于实际问题中很少线性可分，故本实验采用非线性SVM方法。即通过一个适当的非线性映射??(??) ，将数据由原始特征空间映射到一个新特征空间，然后在新空间中寻求最优（线性）判定面 。本实验选取的的核函数为RBF（径向基函数）中的高斯核函数，即k(x,y) = exp(-0.5*(norm(x-y)/s)^2)。关于支持向量机的类型，本实验选取为二类分类算法，即svc_c。算法方面，由于同时求解n个拉格朗日乘子涉及很多次迭代，计算开销太大，所以实验采用Sequential Minimal Optimization（SMO）算法，即每次只更新两个乘子，迭代获得最终解。 计算时，首先根据预先设定的规则，从所有样本中选出两个拉格朗日因子，然后保持其他拉格朗日乘子不变，更新所选样本对应的拉格朗日乘子，循环N次直到满足要求。 实验 评价标准 本实验采用正确率来作为评价指标，即 。 整体试验方法及步骤 定义核函数的类型及相关参数； 构建两类训练样本：（考虑到实验程序运行时间问题，本实验只选用了testdata的第200至1200项共1000个作为训练样本） 训练支持向量机； 寻找支持向量； 测试输出； 计算评价指标，即正确率 分类器训练算法的参数调整步骤 （1）随机生成多个参数向量（解） （2）在目标函数上验证解的质量 （3）根据解的质量由好到坏进行排序。取出其中较好的一部分（例如一半）解，在这些解的每一个元素上加上一个随机数，从而得到一些新解 （4）把新解和老解比较，取出最好的一部分，作为下一次迭代的初始解 实验结果 经实验，得到测试输出，将其第十一列，即样本类别与testdata中的第十三列相比，即可得到正确率。本实验将以上结果取于EXECL中进行统计，部分结果截图如下。其中，A列为测试输出末列，B为testdata末列，C为二者之和。 图1 输出统计对比图（部分） 数据总共2072个，其中C列经删选，得C=0的项为744个，故正确率为（2072-744）/2072=64.09%。后经多次实验，结果相差不多，故不再列出。 图2 测试输出分布图