支持向量机引导.ppt

哈尔滨理工大学网络信息中心哈尔滨理工大学网络信息中心*哈尔滨理工大学网络信息中心*支持向量机引导孙宗宝2006年12月20日哈尔滨理工大学网络信息中心学术交流*哈尔滨理工大学网络信息中心*支持向量机引导孙宗宝2006年12月20日哈尔滨理工大学网络信息中心学术交流内容提要*哈尔滨理工大学网络信息中心*215概述线性可分情况理论核函数4支持向量机模型3线性不可分情况6支持向量机网络SVM简介*哈尔滨理工大学网络信息中心*90年代中期在统计学习理论的基础上发展起来的一种机器学习方法(Boser,Guyon,Vapnik)01适合有限样本(小样本)问题02在很大程度上解决了传统方法（如神经网络）中存在的问题，如过学习、非线性、多维问题、局部极小点问题等03统计学习理论和支持向量机被视为机器学习问题的一个基本框架，传统的方法都可以看作是SVM方法的一种实现04有坚实的理论基础和严格的理论分析05概述*哈尔滨理工大学网络信息中心*向量的内积与超平面概述*哈尔滨理工大学网络信息中心*最优分类平面概述*哈尔滨理工大学网络信息中心*也就是使margin最大，从而使实际风险最小二维数据最优分类线的基本要求：1、要能将两类样本无错误的分开即使经验风险最小，理论上为零2、要使两类之间的距离最大概述*哈尔滨理工大学网络信息中心*我们要做的是什么呢？找到一个超平面(最优分类面)，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。01H02H203H104最优分类平面05为最优分类平面的方程SVM原理之线性可分*哈尔滨理工大学网络信息中心*设线性可分样本集为(xi,yi),i=1,2,…,n,x∈Rd,y∈{+1,-1}是类别标号。01则d维空间中线性判别函数的一般形式为:g(x)=w·x+b02分类面方程为:w·x+b=0(1)03SVM原理之线性可分*哈尔滨理工大学网络信息中心*将判别函数进行归一化,使两类所有样本都满足|g(x)|≥1,即,使离分类面最近的样本的|g(x)|=1,这样分类间隔就等于2/‖w‖,因此间隔最大等价于使‖w‖(或‖w‖2)最小;而要求分类线对所有样本正确分类,就是要求其满足:yi[(w·xi)+b]-1≥0,(i=1,2,…,n)(2)SVM原理之线性可分*哈尔滨理工大学网络信息中心*01我们解决这样问题的思路是什么呢？02首要的就是设法找到解决问题的数学模型！03我们的问题是：04找到满足上述式（2）、且使‖w‖2的分类面。05其实这个分类面就是最优分类面！SVM原理之线性可分*哈尔滨理工大学网络信息中心*01020304支持向量（SV）在那呢？能使式（2）yi[(w·xi)+b]-1≥0,(i=1,2,…,n)中等号成立的，也就是位于margin上的样本就是支持向量。SVM原理之线性可分最优分类平面求解的数学模型*哈尔滨理工大学网络信息中心*3241我们的求解过程显然是一个有约束条件的优化问题：的最小值。即在式(2)的约束下,求函数:φ(w)=1/2‖w‖2=1/2(w·w)(3)SVM原理之线性可分*哈尔滨理工大学网络信息中心*STEP1STEP2STEP3STEP4求解方法---Lagrange乘子法什么是Lagrange乘子法？看一个例子。问题：给你一块面积固定（等于a的平方）板子，问做成什么样的长方体（盒子），它具有最大的体积。SVM原理之线性可分*哈尔滨理工大学网络信息中心*即2xy+2xz+2yz-a2=0本问题要求表面积为a的平方，于是长方体的6面的面积可以写成：设长方体的三个棱长为x，y，z，则其体积f为三个边长的乘积：这个问题转化为了有约束条件的优化问题。2xy+2xz+2yz=a2Lagrange乘子法f(x,y,z)=xyzSVM原理之线性可分*哈尔滨理工大学网络信息中心*Lagrange乘子法1解题方法为：用拉格朗日方法制造一个新函数F在F中放进一个未知的常数C2得到：F=xyz+C(2xy+2xz+2yz-a2)3SVM原理之线性可分*哈尔滨理工大学网络信息中心*Lagrange乘子法F对x，y，z的三个自变量的偏微分分别为零，得到三个新方程式：yz+2C(y+z)=0