大数据分析方法与应用 课件 第8章 支持向量机.pptx

大数据分析方法与应用上海理工大学主讲人：耿秀丽教授第8章支持向量机

8.1支持向量机的原理目录CONTENTS8.2支持向量机算法8.3支持向量机算法参数优化8.4算法应用及案例分析8.5课后习题第8章支持向量机

8.1.1支持向量机的由来8.1.2支持向量机的发展8.1支持向量机的原理

8.1支持向量机原理支持向量机是什么？支持向量机（SupportVectorMachine，SVM）是一种以统计学习为基础的强大的监督学习算法，通常用于分类和回归问题。SVM在机器学习领域非常流行，并被广泛应用于各种领域，如文本分类、图像识别、生物信息学和金融预测等。SVM的核心思想是在特征空间中找到一个最优的超平面，将不同类别的数据点分开，并且使得超平面与最近的数据点之间的间隔尽可能大。这些最近的数据点被称为“支持向量”，因为它们对于定义分类边界非常重要。

8.1支持向量机原理8.1.1支持向量机的由来SVM的早期发展始于统计学习理论，该理论是一种使用统计的方法专门研究小样本情况下机器学习规律的理论并且针对小样本问题建立了一套全新的理论体系，其统计推理规则不仅考虑了对渐进性能的要求，而且追求在现有有限信息的条件下得到最后结果Vapnik在该理论中提出了结构风险最小化（StructuralRiskMinimization,SRM）的概念，该概念强调在进行模型选择时需要平衡模型的经验误差和模型的复杂性，以实现更好的泛化性能。具体来说结构化风险可以分为结构风险和置信风险。结构风险指的是给定样本上的分类误差，而置信风险是指在未知样本的分类误差。我们在训练模型时会让结构风险变得很小，但是这个模型能否预测未知样本则需关注置信风险。训练样本数越多置信风险也越小。而分类函数越复杂，则会导致其普适性变差，增加置信风险。SVM的研究意义就是让结构风险和置信风险的和最小。

8.1支持向量机原理8.1.2支持向量机的发展最早的SVM是用于线性可分数据的，研究主要集中在找到最大间隔超平面和支持向量的数学推导与算法优化上。Vapnik和Cortes首次提出了现代形式的线性SVM，其基本思想是通过拉格朗日乘数法将线性可分问题转化为凸优化问题，并利用对偶问题求解得到支持向量为了应对现实世界中存在的线性不可分数据，研究者又提出了软间隔SVM，引入松弛变量来容忍一定的误分类1995年为了应对现实世界中存在的线性不可分数据

8.1支持向量机原理8.1.2支持向量机的发展提出了一对多（One-vs-Rest）和一对一（One-vs-One）等策略来处理多类别分类问题。开始的SVM是针对二分类问题的，但实际中存在多类别分类的需求研究者提出了核函数的概念，将数据映射到高维特征空间，并在高维空间中寻找线性可分的超平面由于实际数据往往是复杂的、非线性可分的

8.1支持向量机原理8.1.1支持向量机的由来

8.1支持向量机原理8.1.1支持向量机的由来支持向量机原理这些豆子叫做data，把线叫做classifier,最大间隙trick叫做optimization，拍桌子叫做kernelling核函数,那张纸叫做hyperplane超平面

8.2.1支持向量机的模型算法8.2.2支持向量机模型优化算法8.2支持向量机算法8.2.3核函数8.2.4支持向量机算法的计算机实现

8.2支持向量机算法8.2.1支持向量机的模型算法给定训练样本集:D={(x1,y1),…,(xm,ym)}其中xi∈Rn,yi∈{-1,+1},i=1,...,m，Rn表示n维欧式空间。划分超平面的线性方程描述：分类学习最基本的思想就是基于训练样本集D在样本空间中找到一个超平面，将不同的样本分开。找到最大间隔则可以找到最优超平面。如图8?1所示，由此SVM优化模型表述如下：图8?1支持向量机示意图对于一个线性可分的训练集，SVM认为存在(ω·b)使得yi[ωTxi+b]≥0。同时根据点到平面之间距离的公式，可以得出样本空间中任意一点到超平面的距离为：距离超平面最近的几个点被称为支持向量，两类异类向量的距离则为样本中的间隔D，可以用如下公式描述：

8.2支持向量机算法8.2.1支持向量机的模型算法对于非线性问题来说，往往无法在原始样本空间中寻找到一个超平面把训练样本正确分类。SVM的做法是在将原始样本空间映射到一个更高的特征空间，