R语言数据挖掘(第2版)课件：R的支持向量机：数据预测.ppt

《R语言数据挖掘(第2版)》《R语言数据挖掘(第2版)》R的支持向量机：数据预测学习目标理论方面，理解支持向量分类和支持向量回归的基本原理，适用性和方法特点实践方面，掌握R的支持向量预测、应用以及结果解读，能够正确运用支持向量法实现数据的分类预测支持向量分类概述支持向量机倾向给出把握程度更高的预测结果。支持向量机(SVM)是在统计学习理论基础上发展起来的一种数据挖掘方法,支持向量机分为支持向量分类机:用于研究输入变量与二分类型输出变量的关系及新数据预测，简称为支持向量分类(SVC)支持向量回归机:用于研究输入变量与数值型输出变量的关系及新数据预测，简称为支持向量回归(SVR)支持向量分类的基本思路设支持向量分类的分析对象是包含n个观测的训练样本，每个观测有p个输入（特征）变量和一个输出变量可将训练样本中的n个观测看成p维特征空间上的n个点，以点的不同形状（或颜色）代表输出变量的不同类别取值。支持向量分类的建模目的，就是以训练样本为研究对象，在p维特征空间中找到一个超平面，能将两类样本有效分开支持向量分类的基本思路超平面定义:可以有多条能够将红色方块和黄色圆点分开的直线支持向量分类的基本思路最大边界超平面是支持向量分类的超平面。最大边界超平面，是距两个类别（－1类和1类）的边界观测点最远的超平面支持向量分类的基本思路最大边界超平面的特点：第一，它不仅是距训练样本集中的边界观测点最远的，也是距测试样本集中的边界观测点最远的第二，最大边界超平面仅取决于两类别的边界观测点支持向量分类的三种情况线性可分样本：样本观测点可被超平面线性分开样本完全线性可分样本无法完全线性可分支持向量分类的三种情况线性不可分样本：样本观测点无法被超平面线性分开线性可分下的支持向量分类如何求解超平面分别将两类的最“外围”样本观测点连线，形成两个多边形，它是关于各类样本点集的凸包，即为最小凸多边形，各自类的样本观测点均在多边形内或边上以一类的凸包边界为基准线，找到另一类凸包边界上的点，过该点做基准线的平行线，得到一对平行线可以有多条这样的基准线和对应的平行线，找到能正确分割两类且相距最远的一对平行线并做平行线的垂线。最大边界超平面（线）即是该垂线的垂直平分线线性可分下的支持向量分类如何求解超平面对于任意观测观测Xi：超平面参数求解的目标是使d最大，且需满足上式(约束条件):线性可分下的支持向量分类如何求解超平面线性可分下的支持向量分类如何求解超平面线性可分下的支持向量分类如何求解超平面构造拉格朗日函数对参数求偏导，且令偏导数为0因为ai?0，超平面系数向量是训练样本中，所有ai0的观测的输入和输出变量的线性组合ai=0的观测对超平面没有作用，只有ai0的观测点才对超平面的系数向量产生影响，这样的观测点即为支持向量。最大边界超平面完全由支持向量决定线性可分下的支持向量分类如何求解超平面上述问题的对偶问题需满足的KKT条件KKT条件使得：ai0的观测点(即支持向量)，均落在类边界线上线性可分下的支持向量分类如何利用超平面进行分类预测决策函数：广义线性可分下的支持向量分类如何求解超平面采用“宽松”策略，引入松弛变量?i广义线性可分下的支持向量分类如何求解超平面采用“宽松”策略，引入松弛变量?i广义线性可分下的支持向量分类如何求解超平面可调参数：可调参数C是一个损失惩罚参数，用于平衡模型复杂度和预测误差线性不可分下的支持向量分类线性不可分的一般解决途径:特征空间的非线性转换核心思想认为：低维空间中的线性不可分问题，通过非线性转换，可转化为高维空间中的线性可分问题。即一切线性不可分问题都可通过适当的非线性空间转换变成线性可分问题线性不可分下的支持向量分类维灾难：随着特征空间维度的不断升高，超平面被估参数个数的增长惊人对于p维特征空间产生d阶交乘时，需估的模型参数个数为：线性不可分下的支持向量分类支持向量分类克服维灾难的途径因：参数和决策结果取决于变换处理后的观测内积K()一般为核函数线性不可分下的支持向量分类常见的核函数一旦核函数确定下来，参数估计和预测时就不必事先进行特征空间的映射变换处理，更无须关心非线性映射函数?()的具体形式，只需计算相应的核函数，便可完成所有计算多分类的支持向量分类可采用1对1（one-versus-one）策略或1对多（one-versus-all）策略，将二分类支持向量分类拓展到多分类预测问题中《R语言数据挖掘(第2版)》《R语言数据挖掘(第2版)》