第5章神经网络的规划学习方法.pptVIP

支持向量机及其学习算法 主讲:赵姝 zhaoshuzs@163.com 安徽大学计算机科学与技术学院 主要内容 支持向量机 支持向量机的分类学习算法 用于函数拟合的支持向量机 支持向量机算法的研究与应用 仿真实例 传统统计学是一种渐进理论，研究的是样本数目趋于无穷大时的极限特性。 现有的学习方法多基于传统统计学理论，但在实际应用中，样本往往是有限的，因此一些理论上很优秀的学习方法在实际中的表现却不尽人意，存在着一些难以克服的问题，比如说如何确定网络结构的问题、过学习问题、局部极小值问题等，从本质上来说就是因为理论上需要无穷样本与实际中样本有限的矛盾造成的。 与传统统计学的方向不同，Vapnik等人提出了一个较完善的基于有限样本的理论体系－－统计学习理论。 统计学习理论是又一种通用的前馈神经网络，同样可用于解决模式分类和非线性映射问题。 支持向量机方法是在统计学习理论基础上发展起来的通用学习方法，它具有全局优化、适应性强、理论完备、泛化性能好等优点 。 支持向量机（Support Vector Machine，SVM） 90年代中期，在统计学习理论的基础上发展出了一种通用的学习方法－－支持向量机。它根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以获得最好的泛化能力。 支持向量机在很多机器学习问题的应用中已初步表现出很多优于已有方法的性能。 支持向量机的理论最初来自于对数据分类问题的处理。对于线性可分数据的二值分类，如果采用多层前向网络来实现，其机理可以简单描述为：系统随机的产生一个超平面并移动它，直到训练集合中属于不同类别的点正好位于该超平面的不同侧面，就完成了对网络的设计要求。但是这种机理决定了不能保证最终所获得的分割平面位于两个类别的中心，这对于分类问题的容错性是不利的。 保证最终所获得的分割平面位于两个类别的中心对于分类问题的实际应用是很重要的。支持向量机方法很巧妙地解决了这一问题。 该方法的机理可以简单描述为：寻找一个满足分类要求的最优分类超平面，使得该超平面在保证分类精度的同时，能够使超平面两侧的空白区域最大化；从理论上来说，支持向量机能够实现对线性可分数据的最优分类。为了进一步解决非线性问题，Vapnik等人通过引入核映射方法转化为高维空间的线性可分问题来解决。 最优分类超平面（Optimal Hyperplane ） 对于两类线性可分的情形，可以直接构造最优超平面，使得样本集中的所有样本满足如下条件： （1）能被某一超平面正确划分； （2）距该超平面最近的异类向量与超平面之间的距离最大，即分类间隔（margin ）最大。 设训练样本输入为 ， ， 对应的期望输出为 如果训练集中的所有向量均能被某超平面正确划分，并且距离平面最近的异类向量之间的距离最大（即边缘margin最大化），则该超平面为最优超平面（Optimal Hyperplane ） 。 其中距离超平面最近的异类向量被称为支持向量（Support Vector），一组支持向量可以唯一确定一个超平面。SVM是从线性可分情况下的最优分类面发展而来，其超平面记为： 为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足如下约束： 可以计算出分类间隔为 ，因此构造最优超平面的问题就转化为在约束式下求： 为了解决这个约束最优化问题，引入下式所示的Lagrange函数： 其中 为Lagrange乘数。约束最优化问题的解由Lagrange函数的鞍点决定。 利用Lagrange优化方法可以将上述二次规划问题转化为其对偶问题，即在约束条件： 下对 求解下列函数的最大值： 如果 为最优解，那么： 以上是在不等式约束下求二次函数极值问题，是一个二次规划问题（Quadratic Programming，QP），存在唯一解。根据最优性条件－－Karush-Kühn-Tucker条件（KKT条件），这个优化问题的解必须满足： 对多数样本 将为零，取值不为零的 所对应的样本即为支持向量，它们通常只是全体样本中很少的一部分。 求解上述问题后得到的最优分类函数是： 在通过训练得到最优超平面后,对于给定的未知样本x，只需计算f (x)即可判断x所属的分类。 若训练样本集是线性不可分的，或事先不知道它是否线