支持向量分类机原理解读.ppt

核函数(核或正定核)定义 设 是 中的一个子集。称定义在 上的函数 是核函数(正定核或核)，如果存在着从 到某一个 空间 的映射 使得 其中 表示 中的内积 核函数的选择 多项式内核 径向基函数内核RBF Sigmoind内核 目前研究最多的核函数主要有三类： 得到q 阶多项式分类器 每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定 包含一个隐层的多层感知器，隐层节点数是由算法自动确定 Thank you! * COLT(Computational Learning Theory) Support Vector Classification 数据挖掘中的新方法－支持向量分类机原理 位礼奎 2016年6月 提纲 SVM有关概念介绍 SVM分类问题的数学表示和推导 简单的最优分类面 广义最优分类面 非线性最优分类面 History SVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon, Vapnik在COLT-92上首次提出，从此迅速发展起来，目前已经在许多智能信息获取与处理领域都取得了成功的应用。 传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础就是统计学习理论。 传统的统计模式识别方法在进行机器学习时，强调经验风险最小化。而单纯的经验风险最小化会产生“过学习问题”，其推广能力较差。 推广能力是指: 将学习机器(即预测函数,或称学习函数、学习模型)对未来输出进行正确预测的能力。 “过学习问题”：某些情况下，当训练误差过小反而会导致推广能力的下降。 例如：对一组训练样本(x,y),x分布在实数范围内，y取值在[0，1]之间。无论这些样本是由什么模型产生的，我们总可以用y=sin(w*x)去拟合，使得训练误差为0. 根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。 Vapnik 提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。 由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中 关于SVM 思想： 通过某种事先选择的非线性映射（核函数）将输入向量映射到一个高维特征空间，在这个空间中寻找最优分类超平面。使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。 途径： 构造一个约束条件下的优化问题，具体说是一个带线性不等式约束条件的二次规划问题(constrained quadratic programing),求解该问题，构造分类超平面，从而得到决策函数。 提纲 SVM有关概念介绍 SVM分类问题的数学表示和推导 简单的最优分类面 广义最优分类面 非线性最优分类面 分类问题的数学表示 已知：训练集包含 个样本点： 说明： 是输入指标向量，或称输入，或称模式，其分 量称为特征，或属性，或输入指标； 是输出指标，或输出. 问题：对一个新的模式 ，推断它所对应的输出 是1还是-1. 实质：找到一个把 上的点分成两部分的规则. 2维空间上的分类问题) n维空间上的分类问题. 根据给定的训练集 其中， ，寻找 上的一个实 值函数 ，用决策函数 判断任一模式 对应的 值. 可见，分类学习机——构造决策函数的方法(算法)， 两类分类问题 多类分类问题 线性分类学习机 非线性分类学习机 分类学习方法 SVM分类问题大致有三种：线性可分问题、近似线性可分问题、线性不可分问题。 最大间隔原则 考虑图1.2.1(a)—— 上的线性可分的分类问题. 这里有许多直线 能将两类点正确分开. 如何选取 和 ？ 简单问题：设法方向 已选定，如何选取 ？ 解答： 选定 平行直线 极端