支持向量机数学前沿.docVIP

基于支持向量机的进展研究介绍 摘要：支持向量机作为一种新型的短期预测的算法，越来越受到人们的重视。本文对其研究的历史进程给予了说明，并介绍了一些目前的热门研究算法以及其研究的思想。重点介绍了支持向量机的回归算法，此种算法对于少数据的短期预测具有较好的预测效果。最后本文对其应用前景及发展方向予以了介绍。 关键词：支持向量机；回归算法；短期预测 0 引言 支持向量机（Support Vector Machine，简称SVM）是由CortesVapnik1995年首先提出来的，是近年来机器学习研究的一项重大成果。它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[1]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[2] 。它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机属于一般化线性分类器。他们也可以认为是提克洛夫规范化（Tikhonov Regularization）方法的一个特例[3]。这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区。因此支持向量机也被称为最大边缘区分类器。根据统计学习理论，如果数据服从某个（固定但未知）分布，要使机器的实际输出与理想输出之间的误差尽可能小，则机器应当遵循结构风险最小化原理，而不是经验风险最小化原理，通俗的说就是应当使错误概率的上界最小化[4]。支持向量机正是这一理论的具体实现。与传统的人工神经网络相比，支持向量机不仅结构简单，而且各种技术性能尤其泛化能力明显提高，这已经被大量实验证实[5]。目前，国内对支持向量机的研究还刚刚起步，本文介绍支持向量机的一些新进展，希望引起大家的重视。 1 支持向量机 1.1 什么是支持向量机 所谓支持向量是指那些在间隔区边缘的训练样本点。 这里的“机（machine,机器）”实际上是一个算法。在机器学习领域，常把一些算法看作是一个机器。 支持向量机(Support vector machines，SVM)与神经网络类似，都是学习型的机制，但与神经网络不同的是SVM使用的是数学方法和优化技术。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。 1.2 支持向量机的思想 支持向量机是数据挖掘的一项新技术，以统计学习理论为基础，针对小样本数据建立新的理论体系，追求在有限样本下的最优解。其核心思想就是利用核函数将输入样本空间映射到高维特征空间，在这个空间中求一个最优分类面，得到输入和输出变量间的非线性关系。它是一个凸二次优化问题，适合解决小样本问题，并能够推广到函数拟合等其他的机器学习问题中来。 1.3 支持向量机的理论研究 支持向量机的算法一经提出，就得到国内外学者的高度关注。学术界普遍认为它是继神经网络之后的一个新的研究方向。在短短的几年里，取得了一系列的令人瞩目的研究成果。 虽然支持向量机的发展时间很短，但是由于它的产生是基于统计学习理论的，因此具有坚实的理论基础。近几年涌现出大量的理论研究成果，更为其应用研究奠定了坚实的基础。如Anthonyetal(1999)等人给出了关于硬领域支持向量机学习误差的严格理论界限，Shawe-Taylor(2000)和Cristianini（2000）也给出了类似的关于软领域支持向量机和回归情况下的误差界限；Westonetal(1998)和Vapnik(1998)等研究了支持向量机的泛化性能及其在多值分类和回归问题的扩展问题；Smola（1998）和Schoelkopf（1999）提出了支持向量机一般意义下的损失函数数学描述；脊回归是由Tikhonov（1963）提出的一种具有特殊形式的正则化网络，Poggio et al。（1990），Poggio（1975）等将其应用到正则化网络的学习中。Smola et al。（1999）研究了状态空间中脊回归的应用，Poggio et al，（1990）Smola（1998）,Schoelkopf（1999）等讨论了正则化网络和支持向量机的关系。 随着支持向量机理论上的深入研究，出现了许多变种支持向量机，如Smola（1999）提出的用于分类和回归的支持向量机。另外，一些学者还扩展了支持向量机概念，如Mangasarian（1999）等人通用支持向量机。 2 算法简介 2.1支持向量机的训练算法 支持向量机的最终求解问题归结为一个有约束的