机器学习算法与实践 课件 第6章 支持向量机.pptx

第六章支持向量机支持向量机（SupportVectorMachine，SVM）是一种常用的监督学习算法，主要用于分类和回归任务。其基本思想是在特征空间中找到一个最优超平面，能够将不同类别的样本点尽可能地分开，并且使支持向量到超平面的距离最大化。在支持向量机（SVM）中，有几种常用的方法和变体，如：线性支持向量机（LinearSVM）、非线性支持向量机（NonlinearSVM）、多类别支持向量机（Multi-classSVM）及支持向量回归（SupportVectorRegression，SVR），用于解决不同类型的分类和回归问题。1

6.1算法概述线性支持向量机（LinearSVM）：基于线性可分的假设，在特征空间中寻找一个最优超平面，能够最大化不同类别的样本点之间的间隔。非线性支持向量机（NonlinearSVM）：适用于数据集在原始特征空间中无法线性分割的情况。它使用核函数（如多项式核、高斯核）将样本映射到高维特征空间，从而找到一个非线性的最优超平面。2

6.1算法概述多类别支持向量机（Multi-classSVM）：常见的方法是使用“一对一”（One-vs-One）策略，将每个类别与其他类别进行两两比较，构建多个二分类器。另一种方法是使用“一对其余”（One-vs-Rest）策略，将每个类别与其他所有类别组合成一个二分类器。支持向量回归（SupportVectorRegression，SVR）：其目标是找到一个最优超平面，使得样本点尽可能地落在超平面的附近区域内，并且最小化间隔内的误差。支持向量回归能够处理非线性回归问题，并具有一定的抗噪能力。3

6.2线性可分支持向量机及其对偶算法右图假设训练数据集是线性可分的，能将训练样本分开的划分超平面可能有很多，应该选取哪一个呢？?0图6-1存在多个划分超平面4

??6.2线性可分支持向量机及其对偶算法???0?图6-2支持向量与间隔5

?6.2线性可分支持向量机及其对偶算法6

?6.2线性可分支持向量机及其对偶算法7

?6.2线性可分支持向量机及其对偶算法8

?6.2线性可分支持向量机及其对偶算法9

?6.2线性可分支持向量机及其对偶算法10

6.2线性可分支持向量机及其对偶算法?11

6.3线性支持向量机0图6-3样本近似线性可分图6-4支持向量与间隔?12

6.3线性支持向量机?图6-4支持向量与间隔13

6.3线性支持向量机?14

6.3线性支持向量机?15

6.3线性支持向量机?16

6.3线性支持向量机?17

6.3线性支持向量机?18

6.4非线性支持向量机?101110?1?图6-5异或问题图6-6异或问题映射到三维空间??19

6.4非线性支持向量机?20

6.4非线性支持向量机?21

6.4非线性支持向量机?22

6.4非线性支持向量机?23

6.4非线性支持向量机?24

6.4非线性支持向量机?25

6.5.1线性支持向量机回归?0图6-7线性回归26

6.5.1线性支持向量机回归?图6-8支持向量机回归????????027

6.5.1线性支持向量机回归?图6-8支持向量机回归????????028

6.5.1线性支持向量机回归?图6-8支持向量机回归????????029

6.5.1线性支持向量机回归?30

6.5.1线性支持向量机回归?31

6.5.1线性支持向量机回归?32

6.5.1线性支持向量机回归?33

6.5.2非线性支持向量机回归?34

6.5.2非线性支持向量机回归?35

6.5.2非线性支持向量机回归?36

6.6SMO算法?37

6.6SMO算法?38

6.6SMO算法?39

6.7本章小结本章主要介绍了支持向量机的基本原理。首先，介绍支持向量机的基本分类模型及其对偶算法，从线性到非线性，分别介绍其原理及应用范围。然后，从线性回归到支持向量机回归，对别介绍两者的原理和区别。最后，基于Python编程，通过不同数据集展示不同模型的实现方法。40