院计算技术研究所《高级人工智能》之支持向量机.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * COLT(Computational Learning Theory) * * * * * * * * * * * * * * * * * * * * * * * * * * * * . * 可见，只要利用变换，把 所在的2维空间的两类输入点映射到 所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划超平面： 最后得出原空间中的二次曲线： 怎样求6维空间中的分划超平面？(线性支持向量分类机) 非线性分类 * . * 需要求解的最优化问题 其中 非线性分类 * . * 在求得最优化问题的解 后，得到分划超平面 其中 最后得到决策函数 或 线性分划－非线性分划代价：2维空间内积－6维空间内积 非线性分类 * . * 为此，引进函数 有 比较(2)和(3)，可以发现 这是一个重要的等式，提示6维空间中的内积 可以通过计算 中2维空间中的内积 得到。 非线性分类 * . * 实现非线性分类的思想 给定训练集后，决策函数仅依赖于 而不需要再考虑非线性变换 如果想用其它的非线性分划办法，则可以考虑选择其它形式 的函数 ，一旦选定了函数，就可以求解最优化问题 得 ，而决策函数 * . * 决策函数 其中 实现非线性分类的思想 * . * 设 是 中的一个子集。称定义在 上的函数 是核函数(正定核或核)，如果存在着从 到某一个 空间 的映射 使得 其中 表示 中的内积 核函数(核或正定核)定义 * . * 多项式内核 径向基函数内核RBF Sigmoind内核 目前研究最多的核函数主要有三类： 得到q 阶多项式分类器 每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定 包含一个隐层的多层感知器，隐层节点数是由算法自动确定 核函数的选择 * . * 多项式内核 The kind of kernel represents the inner product of two vector(point) in a feature space of dimension. For example * . * － Edgar Osuna(Cambridge,MA)等人在IEEE NNSP’97发表了An Improved Training Algorithm for Support Vector Machines ,提出了SVM的分解算法，即将原问题分解为若干个子问题，按照某种迭代策略，通过反复求解子问题，最终使得结果收敛于原问题的最优解。 传统的利用二次型优化技术解决对偶问题时： 需要计算存储核函数矩阵。当样本点数较大时，需要很大的存储空间。例如：当样本点超过4000时，存储核函数矩阵就需要多达128兆内存； SVM在二次型寻优过程中要进行大量的矩阵运算，通常寻优算法占用了算法时间的主要部分。 SVM寻优算法 * . * 考虑去掉Lagrange乘子等于零的训练样本不会影响原问题的解，采用一部分样本构成工作样本集进行训练，移除其中的非支持向量，并把训练结果对剩余样本进行检验，将不符合KKT条件的样本与本次结果的支持向量合并成为一个新的工作集。然后重新训练，如此重复获得最优结果。 例如：基于这种思路的 算法。 根据子问题的划分和迭代策略的不同，大致分为： 块算法(Chunking Algorithm)： SVM寻优算法 * . * SMO使用了块与分解技术，而SMO算法则将分解算法思想推向极致，每次迭代仅优化两个点的最小子集，其威力在于两个数据点的优化问题可以获得解析解，从而不需要将二次规划优化算法作为算法一部分。尽管需要更多的迭代才收敛，但每个迭代需要很少的操作，因此算法在整体上的速度有数量级的提高。另外，算法其他的特征是没有矩阵操作，不需要在内存中存储核矩阵。 块算法(Chunking Algorithm)： SVM寻优算法 * . * SMO算法每次迭代时，在可行的区域内选择两点，最大化目标函数，从而优化两个点的最小子集。无论何时，当一个乘子被更新时，调整另一个乘子来保证线性约束条件成立，保证解不离开可行区域。每步SMO选择两个参数优化，其他参数固定，可以获得解析解。尽管需要更多的迭代才收敛，但每个迭代需要很少的操作，