ε-不敏感的光滑支持向量回归机的收敛性.pdf

第36卷 第 15期 计 算 机 工 程 2010年8月 VoL36 No．15 ComputerEngineering August2010 · 人工智能及识别技术 · 文章编号：l00-3428(2010)1§一l18§__o3 文献标识码：A 中图分类号：TP18 ． 不敏感的光滑支持向量回归机的收敛性 陈 勇，徐建敏 (东莞理工学院计算机学院，东莞 523808) 摘 要： 不敏感的光滑支持向量回归机采用快速的迭代方法进行求解，使回归性能及效率得到了提高，但并没有考虑该回归机的收敛性。 针对该问题，采用集合论等方法，通过相关的理论推导，证明该光滑支持向量回归机对任意给定的惩罚参数都是全局收敛的，并给出它的 收敛上界，为该光滑支持向量机提供了基本的理论支持。 关健诃： 不敏感损失函数；回归；支持向量机；光滑；收敛 Convergence0fe-insensiveSmoothSupportVectorRegression CHENYong．XU Jian—m in (ComputerCollege，DongguanUniversityofTechnology,Dongguan523808) [Abstract]The~-insensiveSmoothSupportVectorRegression(t~-SSVR)issolvedbyafastiterativealgorithm，whichimprovestheperformance andefficiencyofregression，buttheproblem ofconvergenceremainsstil1．Inthepresentpaper,e-SSVR’Sglobalconvergencefuranarbitrarygiven penalty parameterisprovedby themethodofsettheory,and theupperbound oftheconvergence isworked out，whichprovidesthesmooth supportvectormachinewithabasictheoreticalsupport． [Keywordsle-insensivelossfunction；regression；supportvectormachine；smooht；convergence 1 概述 出支持向量回归机(SVR)，但求解该支持向量回归机不涉及 支持向量机是针对分类问题提出的一种机器学习方法， 收敛性问题。文献[13]指出支持向量机用于回归问题后，仍 它在解决小样本、非线性及高维模式识别中表现出许多特有 然具有它在分类 问题中的诸多优点。 的优势，并可推广到回归问题lJj。很多研究者从不同角度对 文献[14]使用光滑技术，用 Sigmoid积分函数的复合函 分类问题的支持向量机进行了改进，其中与收敛性有关且影 数作为光滑函数 ，提出 不敏感的光滑支持 向量回归机 响较大的算法有如下几种 ：(1)文献[3]提出了支持向量机的 c-SSVR(以下简称光滑支持向量回归机)，并从实验的角度验 SMO(SequentialMinimalOptimization)算法，但只是用实验结 证了它的有效性。然而，文献[141只对当惩罚参数为 1时该 果说明了该算法可以改进支持向量机的分类效果，而没有证 光滑支持向量回归机的收敛性进行了简单说明，没有给出证 明该算法的收敛性。鉴于收敛性是 SMO 算法的一个基本理 明，更未对当惩罚参数为一般情形时的收敛性进行分析和证 论问题，文献[4]证明了该算法的收敛性，从理论上完善了该