SVM算法说明和优化算法介绍.pdf

基于统计学习理论的支持向量机算法研究 1 理论背景 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据 （样本）出发寻找 规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没 [3] 有一种被共同接受的理论框架，关于其实现方法大致可以分为三种 ： 第一种是经典的 （参数）统计估计方法。包括模式识别、神经网络等在内，现有机器学 习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统计学的，在这种方法中， 参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性，首先， 它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于 无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有 限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 第二种方法是经验非线性方法，如人工神经网络 （ANN ）。这种方法利用已知样本建立非 线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。 与传统统计学相比，统计学习理论 （Statistical Learning Theory 或SLT ）是一种专门研究 小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系， 在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条 [1] 件下得到最优结果。V. Vapnik 等人从六、七十年代开始致力于此方面研究 ，到九十年代中 期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展， 统计学习理论开始受到越来越广泛的重视。 统计学习理论的一个核心概念就是VC 维(VC Dimension)概念，它是描述函数集或学习机 器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标，在此概念基础上发展 出了一系列关于统计学习的一致性(Consistency) 、收敛速度、推广性能(Generalization Performance)等的重要结论。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了 一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比 如神经网络结构选择问题、局部极小点问题等）；同时，这一理论基础上发展了一种新的通用 学习方法──支持向量机 （Support Vector Machine 或SVM），已初步表现出很多优于已有方 法的性能。一些学者认为，SLT 和SVM 正在成为继神经网络研究之后新的研究热点，并将推 动机器学习理论和技术有重大的发展。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根 据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy) 和学习能力(即 无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability) 。支持向量机方法的几个主要优点有： 1. 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数 趋于无穷大时的最优值； 2. 算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解 决了在神经网络方法中无法避免的局部极值问题； 3. 算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中 构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较好的 推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关； 在 SVM 方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分类器、 径向基函数(Radial Basic Function 或RBF)方法、多层感知器网络等许多现有学习算法。 统计学习理论从七十年代末诞生，到九十年代之前都处在初级研究和理论准备阶段，近 几年才逐渐得到重视，其本身也趋向完善，并产生了支持向量机这一将这种理论付诸实现的 有效的机器学习方法。目前，SVM 算法在模式识别