统计学习理论与SVM（支持向量机）.ppt

目录 概述 统计学习理论中的基本概念 统计学习理论的发展简况 统计学习理论的基本内容 支持向量机概述 研究现状 参考文献 8.1.1 SLT SVM的地位和作用 是统计学习方法的优秀代表 有严密的数学依据，得到了严格的数学证明 有力反驳 —— “复杂的理论是没有用的，有用的是简单的算法”等错误观点 充分表明 —— “没有什么比一个好的理论更实用了”等基本的科学原则 8.2 SLT中的基本概念 统计方法 —— 从观测自然现象或者专门安排的实验所得到的数据去推断该事务可能的规律性。 统计学习理论 —— 在研究小样本统计估计和预测的过程中发展起来的一种新兴理论。 【注意】：这里所说的“小样本”是相对于无穷样本而言的，故只要样本数不是无穷，都可称为小样本，更严格地说，应该称为“有限样本”。 统计学习理论中的基本概念（续） 机器学习 主要研究从采集样本出发得出目前尚不能通过原理分析得到的规律,并利用这些规律对未来数据或无法观测的数据进行预测。 模式识别 对表征事务或现象的各种形式(数值、文字及逻辑关系等)信息进行处理和分析,以对事务或现象进行描述、辨认、分类和解释的过程。 统计学习理论 一种研究有限样本估计和预测的数学理论 8.3 统计学习理论的发展简况 学习过程的数学研究 F. Rosenblatt于1958,1962年把感知器作为一个学习机器模型 统计学习理论的开始 Novikoff(1962)证明了关于感知器的第一个定理 解决不适定问题的正则化原则的发现 Tikhonov(1963), Ivanov(1962), Phillips(1962) Vanik和Chervonenkis(1968)提出了VC熵和VC维的概念 提出了统计学习理论的核心概念 得到了关于收敛速度的非渐进界的主要结论 8.4 统计学习理论的基本内容 机器学习的基本问题 统计学习理论的核心内容 8.4.1 机器学习的基本问题 机器学习问题的表示 学习问题的表示 产生器(G)，产生随机向量x属于Rn ,它们是从固定但未知的概率分布函数F(x)中独立抽取的。 训练器(S)，对每个输入向量x返回一个输出值y，产生输出的根据是同样固定但未知的条件分布函数 F(y|x)。 学习机器(LM)，它能够实现一定的函数集f(x, a)，a属于A，其中A是参数集合。 8.4.2 机器学习的基本问题 机器学习就是从给定的函数集f(x,?)(?是参数)中,选择出能够最好地逼近训练器响应的函数。 机器学习的目的可以形式化地表示为：根据n个独立同分布的观测样本 ， 在一组函数 中求出一个最优函数 对训练器的响应进行估计,使期望风险最小 其中 是未知的,对于不同类型的机器学习问题有不同形式的损失函数。 三类基本的机器学习问题 模式识别 函数逼近（回归估计） 概率密度估计 【补充说明】：用有限数量信息解决问题的基本原则 —— 在解决一个给定问题时，要设法避免把解决一个更为一般的问题作为其中间步骤。 经验风险最小化原则 对于未知的概率分布,最小化风险函数, 只有样本的信息可以利用,这导致了定义的期望风险是无法直接计算和最小化的。 根据概率论中大数定理,可用算术平均代替数据期望,于是定义了经验风险 来逼近期望风险。 经验风险最小化(ERM)原则：使用对参数w求经验风险 的最小值代替求期望风险 的最小值。 经验风险最小化 从期望风险最小化到经验风险最小化没有可靠的依据,只是直观上合理的想当然。 期望风险和经验风险都是w的函数,概率论中的大数定理只说明了当样本趋于无穷多时经验风险将在概率意义上趋近于期望风险,并没有保证两个风险的w是同一点,更不能保证经验风险能够趋近于期望风险。 即使有办法使这些条件在样本数无穷大时得到保证, 也无法认定在这些前提下得到的经验风险最小化方法在样本数有限时仍能得到好的结果。 复杂性与推广能力 学习机器对未来输出进行正确预测的能力称作推广能力（也称为“泛化能力”）。 在某些情况下,训练误差过小反而导致推广能力的下降,这就是过学习问题。 神经网络的过学习问题是经验风险最小化原则失败的一个典型例子。 用三角函数拟合任意点 学习的示例 复杂性与推广能力（续） 在有限样本情况下， 经验风险最小并不一定意味着期望风险最小； 学习机器的复杂性不但与所研究的系统有关,而且要和有限的学习样本相适应； 学习精度和推广性之间似乎是一对不可调和的矛盾,采用复杂的学习机器虽然容易使得学习误差更小,却往往丧失推广性； 传统的解决办法（例如：采用正则化、模型选择、噪