双正则化参数SVM不同实验结果.PDF

第30卷 第3期 成都师范学院学报 2014年3月 V01．30 JOURNALOFCHENGDUNORMALUNIVERs】TY Mar．2014 双正则化参数 SVM的不 同实验结果 姚程宽 (安庆医药高等专科学校 公共基础部，安徽 安庆 246003) 摘 要：Vapnik等人在统计学习理论和结构风险最小化的基础上提 出了支持 向量机算法(SVM)。该算法在 高维模式识别、非线性、小样本等方面有较好的性能，已在许多领域取得了成功的应用。双正则化参数支持向量机 的出现，更进一步提高了对于两类问题的研究成果。而利用样本数量来调整两个正则化参数 c 和c一的比值，这 一 方法也得到了较为广泛的应用和认可，特另l3是在两类数据集中，即使这一理论没有经过严格的数学证明。文章 以USPS数据库为基础，对之进行了大量的仿真实验，结果表明这个被广为接受的观点是不成立的。 关键词：统计学习；VC维；支持向量机 doi：10．3969／j．issn．2095—5642．2014．03．118 中图分类号：TP311 文献标志码：A 文章编号：2095-5642(2014)03-0118-04 1 引 言 min下1l1wIl+c∑蠡 上个世纪9O年代中期，Vapnik领导的研究小 - i=1 组提出了支持向量机算法。支持向量机通过一个非 S．t． Yi[(W ·Xi)+b]≥1一 ，基 O,i=1，… ，2(1) 线性映射，把低维空间无法处理的样本在高维空间 C0称为正则化参数 (又称为惩罚参数)；喜 0 寻求一个最优分类超平面，从而实现线性可分。该 称为松弛变量，用来衡量错分样本的错分程度；Y 算法以统计学习理论和经验风险最小化为基础，提 =±1表示样本所属的类别。w和b分别为约束条 出用对偶理论求解最优化，从线性可分延伸到线性 件厂(X)=(W ·X)+b中的法向量和偏移量。 不可分，迅速成为机器学习的一个研究热点。 ] 最优分类面的概念最初是在线性可分的范围内 最初的支持向量机只有一个正则化参数，带有 讨论的，而现实中的很多问题不是线性可分的，如 两个正则化参数 C 和 c一的支持向量机出现后-4J， 图： 随之出现了这样一个观点：利用两类样本的数量来 调整两个正则化参数 C 和c一的比值，可获得较好 的分类精度。L5该方法在两类样本集中得到了广泛 的应用，但在理论上缺少严谨的数学证明。我们针 ● 对这一理论设计了大量的实验，以USPS数据集为 基础，构建了lO个两类的数据集，通过网格扫描找 出最优参数，旨在找出最优解时的参数关系。而结 果却表明，用样本数量来确定最优参数 c 和c一， 图1 广义的最优分类面图 这一理论是不可行的。 我们可以把图1中的所有训练样本分为3种情 2 支持向量机算法 况 ： 最初的SVM是求解下面的二次规划： (1)非支持向量 (能够正确分类，且不在 H 和 H：上的样本)，满足下式 收稿 日期 ：2Ol3-()8-29 作者简介：姚程宽(1974一)，男，安徽安庆人，讲师，硕士，研究方向：人工智能、模式识剐。 l18 第30卷(总第253期) 姚程宽：双正则化参数SVM的不同实验结果 Yi[( 。i)+b]一1+ i0