支持向量机分类与回归算法浅析.pdf

应用技术 ■—■—■■—■——————■—■——●一 I■r chm川if·fll··一lhd¨rhnnlogvm·、lp■ 支持向量机分类与回归算法浅析 肖莎丽方康玲刘斌 (武汉科技大学信息科学与工程学院武汉430080) [摘 要】统计学习理论作为机器学习一个分支，由于其优异的特性及应用前景受到越来越多的关注。支持向量机(SVM)衍生于统计学习理论，能够在最小 化训练误差和模硝复杂度之间找到最佳平衡点，是一‘种比较经典的机器学习方法。由于秉承』．统计学习理论的主要思想(如结构风险最小化、VC维)，支持向 量机可以在有限样本下得到全局最优，从而避免局部最优问题。 【关键词】最小二乘支持向量机Vc维核函数非线性空间 中图分类号：P39 文献标识码：A 文章编号：1009-914X(2010)14—0318-02 1引夸 定义Lagrange函数 20世纪70年代，“统计学习理论(SLT，Statistical LearningTheory)” L(e,b，口)=害(∞’拶)一∑q{咒o(撙’毛)十6卜珥 (3) 建立了，它系统地研究了机器学习问题中有限样本情况下的统计学习问题。 _ 扣t VeCtor 1 ■ ■ 90年代，这一理论框架下产生了“支持向量机(SVM，Support Machifie)”这‘新的通用学习方法。 L(e,b，口)=÷(甜·印)一∑qx(毋·玉)一∑q卫6·(4) 。 a-I 卜I 2统计学习理论 其中，q0为Lagrange系数。 统计学爿理论就是在小样本情况下能进行学习与推广的学习方法。 关于两类分类问题，经验风险k“’)和实际风险R(哪之间以至少1一17 这样，就把最优分类面问题转化为其对偶问题了． 解上述问题后得到的最优分类函数是 的概率满足以下的关系： 加)=s印{@·功+6}=E弘{∑西片怯·力+占。} (5) 孟(砷sk(岫+ 上式中的求和实际上只对支持向量进行．b’是分类阈值，可以用任一个支 其中，n是样本数，h是函数集的vc维。 持向量求锝。 公式(1)从理论上说明了学习机器的实际风险是由两部分组成的，可以简 基于这一点，在最优分类面中采用适当的内积函数芷“，苫，)就可以实现 单表示为： 某一非线性变换后的线性分类。经过这种方法处理后，计算复杂度没有增加， ■ 1 ^ 般帕‘Jo∽+ol三I (2)‘ 、， 此时目标函数烈口)=∑q一{∑q乃J；乃“·‘)化为 t-l