4线性不可分SVM.ppt

Introduction to Support Vector Machine. Vapnik V N. 著，张学工译. 统计学习理论.人民邮电出版社. 张学工. 关于统计学习理论与支持向量机. 自动化学报, 2000年第1期. 史朝辉. SVM算法研究及在HRRP分类中的应用. 空军工程大学硕士学位论文, 2005. 主要参考文献（续）： * * 参考资料：《机器学习》-周志华著 第六章：支持向量机 p127 * * * 参考资料:/zhenandaci/archive/2009/02/13/254519.html 参考资料:/dreamvibe/p/4360544.html 参考资料:《机器学习》周志华著 第六章:支持向量机 -6.3节 p126 * * * * * 目录 线性不可分问题 核函数 松弛变量 多输入多输出支持向量机回归算法 支持向量机实现 研究现状 多输入多输出支持向量机回归算法 支持向量机是从线性可分情况下的最优分类面发展而来的。支持向量机形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应于一个支持向量，其结构如图1所示。 支持向量机线性回归 （1） 支持向量机线性回归 支持向量机线性回归 支持向量机线性回归 支持向量机线性回归 由此推出 支持向量机线性回归 支持向量机线性回归 支持向量机线性回归 支持向量机线性回归 支持向量机线性回归 支持向量机非线性回归 支持向量机非线性回归 (14) 支持向量机非线性回归 目录 线性不可分问题 核函数 松弛变量 支持向量机实现 研究现状 支持向量机实现 SVMlight - 2.private:/usr/local/bin svm_learn, svm_classify bsvm - 2.private:/usr/local/bin svm-train, svm-classify, svm-scale libsvm - 2.private:/usr/local/bin svm-train, svm-predict, svm-scale, svm-toy mySVM MATLAB svm toolbox 支持向量机实现 目录 线性不可分问题 核函数 松弛变量 支持向量机实现 研究现状 研究现状 应用研究 支持向量机研究 支持向量机算法研究 应用研究 SVM的应用主要于模式识别领域 贝尔实验室对美国邮政手写数字库进行的实验 分类器 错误率 人工表现 2.5% 决策树C4.5 16.2% 最好的两层神经网络 5.9% SVM 4.0% SVM与神经网络（NN）的对比 SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明） SVM —— 严格的数学推理 NN —— 强烈依赖于工程技巧 推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。 NN设计者用高超的工程技巧弥补了数学上的缺陷——设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。 “我们必须从一开始就澄清一个观点，就是如果某事不是科学，它并不一定不好。比如说，爱情就不是科学。因此，如果我们说某事不是科学，并不是说它有什么不对，而只是说它不是科学。” —— by R. Feynman from The Feynman Lectures on Physics, Addison-Wesley 同理，与SVM相比，NN不像一门科学，更像一门工程技巧，但并不意味着它就一定不好！ 主要应用领域 手写数字识别 语音识别 人脸识别 文本分类 支持向量机研究 如何针对不同的问题选择不同的核函数仍然是一个悬而未决的问题。 标准的SVM对噪声是不具有鲁棒性的,如何选择合适的目标函数以实现鲁棒性是至关重要的。 支持向量机算法研究 支持向量机的本质是解一个二次规划问题,虽然有一些经典（如对偶方法、内点算法等）,但当训练集规模很大时,这些算法面临着维数灾难问题。为此,人们提出了许多针对大规模数据集的SVM训练算法。 支持向量机算法研究（续1） 思路1：分解子问题 块算法 SMO算法(Sequential Minimal Optimization) 思路2：序列优化 思路3：近邻SVM 支持向量机算法研究（续2） 训练SVM的绝大多数算法都是针对分类问题,只有一小部分算法考虑了回归函数的估计问题。 提高算法效率、降低复杂度。 支持向量机算法研究（续3） SVM增量学习算法的研究 超球面SVM算法研究 One-class SVM算法 …… SVM多值分类器算法 One-against-the-rest（