坐标下降l范数LS鄄SVM分类算法-模式识别与人工智能.PDF

第26 卷摇 第5 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 模式识别与人工智能摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Vol.26摇 No.5 摇 2013年5月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 PR AI摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 May摇 摇 2013 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 坐标下降l 范数LS鄄SVM分类算法* 2 1 1 2 1 刘建伟 摇 摇 付摇 捷 摇 摇 汪韶雷摇 摇 罗雄麟 1 (中国石油大学(北京) 自动化系摇 北京 102249) 2 (中国石油吐哈油田分公司温米采油厂摇 鄯善 838202) 摘摇 要摇 研究l 范数正则化最小二乘支持向量机的坐标下降算法实现.在图像处理、人类基因组分析、信息检索、 2 数据管理和数据挖掘中经常会遇到机器学习目标函数要处理的数据无法在内存中处理的场景.最近研究表明大规 模线性支持向量机使用坐标下降方法具有较好的分类性能,在此工作基础上,文中扩展坐标下降方法到最小二乘 支持向量机上,提出坐标下降l 范数LS鄄SVM分类算法.该算法把LS鄄SVM 目标函数中模型向量的优化问题简化为 2 特征分量的单目标逐次优化问题.在高维小样本数据集、中等规模数据集和大样本数据集上的实验验证了该算法 的有效性,与LS鄄SVM分类算法相比,在数据内存中无法处理的情况下可作为备用方法. 关键词摇 l 范数正则化,最小二乘支持向量机,坐标下降,大规模数据集 2 中图法分类号摇 TP 183 Classification Algorithm of l 鄄norm LS鄄SVM via Coordinate Descent 2 1 1 2 1 LIUJian鄄Wei ,FUJie ,WANG Shao鄄Lei ,LUO Xiong鄄Lin 1(Department of Automation,China University of Petroleum,Beijing 102249) 2(Wenmioil Production Plant of Tuha Oilfield Branch,China National Petroleum Corporation, Shanshan 838202) ABSTRACT The coordinate descent approach for l norm regulated least square support vector machine is 2 studied. The datasets involved in the objective function for machine learning have larger data scale than