章统计学习理论基本知识.pdfVIP

第?2?章 统计学习理论基本知识 统计学习理论是一种专门基于小样本的统计理论，它为研究有限样本情况下 的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架，同时也发 展了一种新的模式识别方法——支持向量机，能够较好地解决小样本学习问题。? 2.1? 统计学习理论的核心内容 机器学习的目的是根据给定的已知训练样本求取对系统输入和输出之间的依 赖关系的估计，使它能够对未知输出作出尽可能准确的预测。机器学习问题可以 形式化地表示为：已知变量?y?与输入?x?之间存在一定的未知依赖关系，即存在一 个未知的联合概率? ( , )?F x y? ，机器学习就是根据 n?个独立同分布观测样本? 1 1 2 2?( , ), ( , ),..., ( , )?n n?x y x y x y? （2.1） 在一组函数{ ( , )}?f x w? 中求一个最优的函数? 0?( , )?f x w? ，使预测的期望风险最小。? ( ) ( , ( , )) ( , )?R w L y f x w dF x y = ∫ （2.2） 其中，{ ( , )}?f x w? 为预测函数集，w∈ ? 为函数的广义参数，故{ ( , )}?f x w? 可以表示 任何函数集；? ( , ( , ))?L y f x w? 为由于用? ( , )?f x w? 对?y?进行预测而造成的损失。 要使式 （2.2） 定义的期望风险最小化， 必须依赖关于联合概率? ( , )?F x y? 的信息， 但在实际的机器学习问题中，我们只能利用已知样本（2.1）的信息，因此期望风 险无法直接计算和最小化。 根据概率论中大数定律定理的思想，人们自然想到用算术平均代替式（2.2） 的数学期望，于是定义了? 1? 1?( ) ( , ( , ))? n? emp i i? i? R w L y f x w? n = = ∑ （2.3） 来逼近式（2.2）定义的期望风险。由于? ( )?emp?R w? 是用已知的训练样本（即经验数 最小二乘支持向量机算法及应用研究 6? 据）定义的，因此称作经验风险。用对参数w求经验风险? ( )?emp?R w? 的最小值代替求期 望风险? ( )?R w? 的最小值就是所谓的经验风险最小化（Empirical? Risk? Minimization，? ERM）原则。 仔细研究经验风险最小化原则和机器学习问题中的期望风险最小化要求可以 发现，从期望风险到经验风险最小化并没有可靠的理论依据，只是直观上合理的 想当然做法。但是，经验风险最小化作为解决模式识别等机器学习问题的基本思 想仍在相当长的时间内统治了这一领域的几乎所有研究，人们多年来一直将大部 分注意力集中到如何更好地求取最小经验风险上。与此相反，统计学习理论则对 用经验风险最小化原则解决期望风险最小化问题的前提是什么、当这些前提不成 立时经验风险最小化方法的性能如何，以及是否可以找到更合理的原则等基本问 题进行了深入的研究。 统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论，它 从理论上较系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险 与期望风险的关系、如何利用这些理论找到新的学习原则和方法等问题。其主要 内容包括以下四个方面?[8]?： （1）经验风险最小化原则下统计学习一致性的条件。 （2）在这些条件下关于统计学习方法推广性的界的结论。 （3）在这些界的基础上建立的小样本归纳推理原则。 （4）实现这些新原则的实际方法（算法）。? 2.1.1? 学习过程一致性的条件 学习过程一致性是统计学习理论的基础， 也是与传统渐进统计学的基本联系。 学习过程一致性就是指当训练样本的数目趋于无穷大时，经验风险的最优值能够 收敛到真实风险的最优值。只有满足一致性条件，才能保证经验风险最小化原则 下得到的最优解在样本无穷大时趋近于使用期望风险最小的最优结果?[8]?。 定义?2.1? 记? *?( , )?f x w? 为在式（2.1）的 n个独立同分布样本下，在函数集中使 经验风险取最小的预测函数，由它带来的损失函数为? *?( , ( , ))?L y f x w? ，相应的最小 统计学习理论基本知识 7 第 2 章 经验风险值为? *?( )?emp?R w? 。记? *?( )?R w? 为在? *?( , ( , ))?L y f x w? 函数下的式（2.2）所取得的 真实风险值（期望风险）。当下面两式成立时称这个经验风险最小化学习过程是一 致的：? *? 0?( ) ( )?n? R w R w →∞ → （2.4）? *? 0?( ) ( )?emp? n?