支持向量机原理.ppt

支持向量机2014-2-21支持向量机01最大间隔分类器02核函数03软间隔优化04支持向量机总结05本讲主要内容一.SVM—warmingup1.1SVM概念简介1.2超平面1.3logistic回归1.4形式化表示1.5函数间隔与几何间隔支持向量机（SVM）是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。1.1SVM概念简介01超平面H是从n维空间到n-1维空间的一个映射子空间。02设d是n维欧式空间R中的一个非零向量，a是实数，则R中满足条件dX=a的点X所组成的集合称为R中的一张超平面。1.2超平面1.3logistic回归Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。1.3logistic回归形式化表示：假设函数为：x是n维特征向量，函数g就是logistic函数。其中图像如图所示：可以看到，将无穷映射到了(0,1)1.4形式化表示结果标签是y=-1,y=1，替换logistic回归中的y=0和y=1。同时将替换成w和b。以前的，其中认为。现在我们替换为b，后面替换为（即）。我们只需考虑的正负问题，而不用关心g(z)，因此我们这里将g(z)做一个简化，将其简单映射到y=-1和y=1上。映射关系如下：定义函数间隔为：x是特征，y是结果标签。i表示第i个样本。（这是单个样本）全局函数间隔：在训练样本上分类正例和负例确信度最小那个函数间隔1.5函数间隔与几何间隔1.5函数间隔与几何间隔几何间隔：全局几何间隔：二次规划原问题建立01拉格朗日对偶等式约束不等式约束01最大间隔分类器01二.最大间隔分类器2.1二次规划原问题建立形式1：形式2：形式3：2拉格朗日对偶之等式约束问题：目标函数是f(w)，通常解法是引入拉格朗日算子，这里使用来表示β算子，得到拉格朗日公式为：L是等式约束的个数。然后分别对w和β求偏导，使得偏导数等于0，然后解出w和β。2拉格朗日对偶之不等式约束问题：利用拉格朗日公式变换：令知2拉格朗日对偶之不等式约束原来要求的minf(w)可以转换成求了。???利用对偶求解:?D的意思是对偶，将问题转化为先求拉格朗日关于w的最小值，将α和β看作是固定值。之后在求最大值的话：???2.2拉格朗日对偶之不等式约束下面解释在什么条件下两者会等价。假设f和g都是凸函数，h是仿射的。并且存在w使得对于所有的i，。在这种假设下，一定存在使得是原问题的解，是对偶问题的解。还有另外，满足库恩-塔克条件（Karush-Kuhn-Tucker,KKTcondition），该条件如下：2.3最大间隔分类器重新回到SVM的优化问题：我们将约束条件改写为：2.3最大间隔分类器KKT条件得知只有函数间隔是1（离超平面最近的点）的线性约束式前面的系数，也就是说这些约束式，对于其他的不在线上的点()，极值不会在他们所在的范围内取得，因此前面的系数.注意每一个约束式实际就是一个训练样本。2.3最大间隔分类器实线是最大间隔超平面，假设×号的是正例，圆圈的是负例。在虚线上的点就是函数间隔是1的点，那么他们前面的系数，其他点都是。这三个点称作支持向量。构造拉格朗日函数如下：2.3最大间隔分类器下面我们按照对偶问题的求解步骤来一步步进行，首先求解的最小值，对于固定的，的最小值只与w和b有关。对w和b分别求偏导数。2.3最大间隔分类器得到：代入后，结果如下：由于最后一项是0，因此简化为2.3最大间隔分类器此时的拉格朗日函数只包含了变量。然而我们求出了才