机器学习简明教程---基于Python语言实现 课件 第7章支持向量机.pptx

支持向量机《机器学习简明教程》高延增侯跃恩罗志坚机械工业出版社07

本章目标?理解线性可分、间隔最大化的概念?理解对偶问题?掌握线性支持向量机?了解非线性支持向量机支持向量机（SupportVectorMachine,SVM）是一种非常优雅的算法，具有完善的数学理论支撑，早在1963年就由Vapnik提出了，直到20世纪末才被广泛使用。在深度学习算法流行之前，SVM一直是传统机器学习算法的典型代表，在模式识别、回归、分类等领域得到广泛应用，一度被业界称为最成功的机器学习算法。SVM是一种有监督的二分类模型，目前在小样本、非线性、高维场景下依然表现亮眼，并且该算法数学理论完备，是数据挖掘从业者必须掌握的算法之一。SVM的核心思想是在对样本空间分类的时候使用间隔最大化的分类器，而最让人称奇的问题解决思路是将低维度上线性不可分的样本扩展到多维空间中，然后就可以在多维空间中构建一个线性分类器将这些样本分开，同时使用核技巧降低这一过程的计算复杂度。SVM实现样本分类过程中涉及到线性可分、间隔最大化、核技巧等知识，本章将分别介绍。

目录/Contents7.17.2SVM相关概念线性SVM7.3非线性SVM7.4软间隔7.5应用案例

7.1SVM的相关概念?

7.1SVM的相关概念——线性可分???若找不到这样的超平面，数据集就是线性不可分的线性可分线性不可分

7.1SVM的相关概念——间隔最大化点到面的距离??????

7.1SVM的相关概念——间隔最大化??但仅满足上式的参数构成的分隔超平面鲁棒性较弱，我们希望能找到类似下图中两条虚线中间的实线作为分隔线，这样的分割线具有较好的鲁棒性。上面的公式变成：支持向量（SupportVector）就是左图落在虚线上的正负实例点。而正负支持向量与分隔平面的距离之和被称为间隔，如公式?（7.7）

7.1SVM的相关概念——间隔最大化上页图中，改变ω,b的值即改变分隔平面的法向量和相对坐标原点的平移量，会使得间隔的大小也发生变化，我们希望能找到可以使间隔取得最大值的ω确定的那个分隔平面。间隔的最大值，被称为最大间隔，正因如此SVM又常被称为大间隔分类器（largemarginclassifier）。对应的两条包含支持向量的两条虚线被称为间隔边界，由上页图可知分隔超平面、分割边界由支持向量决定。?（7.9）?

目录/Contents7.17.2SVM相关概念线性SVM7.3非线性SVM7.4软间隔7.5应用案例

7.2线性SVM式（7.9）的解ω*,b*确定一个样本集的分隔超平面（7.10）式（7.9）是一个凸二次规划问题，可以用拉格朗日乘子法得到其对偶问题，通过求解对偶问题得到原始问题的最优解。引进拉格朗日乘子后会使对偶问题相对原始问题更容易求解，而且可以推广到非线性分类问题。

7.2线性SVM——对偶问题??（7.11）定义广义拉格朗日函数为：??（7.12）

7.2线性SVM——对偶问题??

7.2线性SVM——学习算法???（7.19）?

7.2线性SVM——学习算法利用对偶性转换，得到对偶问题（7.20）（7.20）?（7.21）（7.22）可得式（7.23）、（7.24）。（7.23）（7.24）

7.2线性SVM——学习算法?（7.25）（7.26）由此得到式（7.9）的对偶问题若对偶问题（7.26）的解恰好对应（7.9）的解，需满足KKT条件，此处的KKT条件是（7.27）

7.2线性SVM——学习算法?（7.28）?（7.29）?（7.30）

7.2线性SVM——学习算法?（7.31）??（7.32）至此，就完成了线性支持向量机的求解，由支持向量得到了一个线性分类器（7.33）?

目录/Contents7.17.2SVM相关概念线性SVM7.3非线性SVM7.4软间隔7.5应用案例

7.3非线性SVM——核心思想对于线性不可分集合，SVM算法将它们从原始空间映射到更高维度的空间中，使得它们在高维的空间中变成线性可分的?（7.34）（7.35）?

7.3非线性SVM——核心思想对偶问题也由（7.26）转变为式（7.36）（7.36）??如果有办法在原始特征空间计算映射后的高维空间的内积，就可以直接在原始特征空间上构建一个分类器了，这种直接在原始空间上计算内积的方法称为核函数方法。

7.3非线性SVM——核心思想?（7.37）

7.3非线性SVM——核函数的应用?（7.38）对于一个新的样本，式（7.38）给出了高维空间上的线性分类器的计算方法,但是有了核函数，我们不需要计算内积，使用式（7.39）进行分类，这样就避免了高维空间中计算量大增的“维数灾难”问题。（7.39）??

7.3非线性SVM——核函数的应用例7.3