支持向量机 中科院整理ppt.ppt

Chap8 SVM Zhongzhi Shi 高级人工智能 第八章 史忠植 中国科学院计算技术研究所 内容提要 统计学习方法概述 统计学习问题 学习过程的泛化能力 支持向量机 SVM寻优算法 应用 统计学习方法概述 统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。科学规律性的东西一般总是隐藏得比较深，最初总是从其数量表现上通过统计分析看出一些线索，然后提出一定的假说或学说，作进一步深入的理论研究。当理论研究 提出一定的结论时，往往还需要在实践中加以验证。就是说，观测一些自然现象或专门安排的实验所得资料，是否与理论相符、在多大的程度上相符、偏离可能是朝哪个方向等等问题，都需要用统计分析的方法处理。 统计学习方法概述 近百年来，统计学得到极大的发展。我们可用下面的框架粗略地刻划统计学发展的过程： 1900-1920 数据描述 1920-1940 统计模型的曙光 1940-1960 数理统计时代 随机模型假设的挑战 松弛结构模型假设 1990-1999 建模复杂的数据结构 统计学习方法概述 从1960年至1980年间，统计学领域出现了一场革命，要从观测数据对依赖关系进行估计，只要知道未知依赖关系所属的函数集的某些一般的性质就足够了。引导这一革命的是60年代的四项发现： Tikhonov, Ivanov 和 Philips 发现的关于解决不适定问题的正则化原则； Parzen, Rosenblatt 和Chentsov 发现的非参数统计学； Vapnik 和Chervonenkis 发现的在泛函数空间的大数定律，以及它与学习过程的关系； Kolmogorov, Solomonoff 和Chaitin 发现的算法复杂性及其与归纳推理的关系。 这四项发现也成为人们对学习过程研究的重要基础。 统计学习方法概述 统计学习方法： 传统方法: 统计学在解决机器学习问题中起着基础性的作用。传统的统计学所研究的主要是渐近理论，即当样本趋向于无穷多时的统计性质。统计方法主要考虑测试预想的假设和数据模型拟合。它依赖于显式的基本概率模型。 模糊集 粗糙集 支持向量机 统计学习方法概述 统计方法处理过程可以分为三个阶段： （1）搜集数据：采样、实验设计 （2）分析数据：建模、知识发现、可视化 （3）进行推理：预测、分类 常见的统计方法有: 回归分析（多元回归、自回归等） 判别分析（贝叶斯判别、费歇尔判别、非参数判别等） 聚类分析（系统聚类、动态聚类等） 探索性分析（主元分析法、相关分析法等）等。 支持向量机 SVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon, Vapnik在COLT-92上首次提出，从此迅速发展起来 Vapnik V N. 1995. The Nature of Statistical Learning Theory. Springer-Verlag, New York [564] Vapnik V N. 1998. Statistical Learning Theory. Wiley-Interscience Publication, John WileySons, Inc 目前已经在许多智能信息获取与处理领域都取得了成功的应用。 统计学习理论 函数估计模型 学习样本的函数: 产生器 (G) generates observations x (typically in Rn), independently drawn from some fixed distribution F(x) 训练器Supervisor (S) labels each input x with an output value y according to some fixed distribution F(y|x) 学习机Learning Machine (LM) “learns” from an i.i.d. l-sample of (x,y)-pairs output from G and S, by choosing a function that best approximates S from a parameterised function class f(x,?), where ? is in ? the parameter set 关键概念: F(x,y), an i.i.d. l-sample on F, functions f(x,?) and the equivalent representation of each f using its i