Adaboost算法的前世今生.doc

Adaboost算法的前世今生 转载▼ 标签： Adaboost算法的前世今生 引言 众所周知，模式识别的方法可以按照参与识别特征的属性来区分，可以分为两大类：一、使用定量特征（可度量）如物体长度、宽度等，来描述的各种模式，这一类主要是指决策理论，有匹配、统计、神经网络等方法；二、使用定性特征如特征结构、排列顺序等，来描绘的各种模式，这一类主要是指结构判别，主要有串和树的匹配等方法。 模式识别的完整的流程顺序是：传感器——分割组织——特征提取——分类器——后处理。其中分类器的设计部分，可以使用的理论有很多，目前主要包括：基于统计理论的方法（贝叶斯理论）、线性判别函数、神经网络的方法、随机方法（对于复杂的问题）、非度量方法（定性结构特征） 分类器得到的模型不仅要很好拟合输入数据，还要能够正确地预测未知样本的类标号。因此，训练算法的主要目标就是要建立具有很好的泛化能力模型，即建立能够准确地预测未知样本类标号的模型。 通常我们用“方差”和“偏差”来测量学习算法与给定分类问题的“匹配”和“校准”程度。“偏差”度量的是匹配的“准确性”和“质量”：一个高的偏差意味着一个坏的匹配，“方差”度量的是匹配的“精确性”和“特定性”：一个高的方差意味着一个弱的匹配。 研究表明，使用重采样技术可以提高分类器的准确率，而boosting算法就是涉及分类器设计中的重采样技术。其思想内涵在于：从给定的数据集中抽取多个数据子集，使得有可能计算任意统计量的值及其范围。 说道boosting，不得不说Arcing（adaptive reweighting and combining）自适应的权值重置和组合：重新使用和选择数据，以期达到改善分类器性能的目的。最简单的arcing版本就是bagging算法。 Bagging一个多分类器系统 bagging算法的基本思想: 给定一个弱学习算法，和一个训练集；单个弱学习算法准确率不高；将该学习算法使用多次，得出预测函数序列，进行投票，最后结果准确率将得到提高。 步骤1：从大小为n的原始数据集D中，分别独立随机的抽取n’个数据（n’n），形成自助数据集，将这个过程独立重复多次，直到产生很多独立的自助数据集。 步骤2：每一个自助数据集都被独立的用于训练一个“分量分类器”。 步骤3、最终的分类判决由这些“分量分类器”各自的判决结果投票决定。 Bagging算法是第一个多分类器系统，后面还有（组合分类器系统）。 算法: For t = 1, 2, …, T Do 从数据集S中取样（放回选样） 训练得到模型Ht 对未知样本X分类时,每个模型Ht都得出一个分类，得票最高的即为未知样本X的分类，也 可通过得票的平均值用于连续值的预测 。 Bagging 和boosting的区别 ? 训练集: 预测函数 准确性 使用要求 Bagging 随机选择,各轮训练集相互独立 没有权重;可以并行生成 在有些数据集中，boosting会引起退化 要求“不稳定”的分类方法 Boosting 各轮训练集并不独立,它的选择与前轮的学习结果有关 有权重;只能顺序生成 在大多数数据集中，boosting的准确性比bagging高 要求“不稳定”的分类方法 训练集的小变动能够使得分类模型显著变动 Bagging是一个纯粹的降低相关度的方法，如果树的节点具有很高的相关性，bagging就会有好的结果。早期的AdaBoost在第二步的时候采用重采样方法，即使某些样本权重增加。这种方法与bagging存在某种关联。它也是Boost的成功之处中降低相关度方面的重要部分。 AdaBoost在第二步中如果使用加权的tree-growing算法，而不是重采样算法,效果会更好。可以使用stumps作为弱分类器 最初的boosting算法 1989年Kearns and Valiant研究了PAC学习模型中弱学习算法和强学习算法两者间的等价问题，即任意给定仅仅比随机猜测稍好(准确率大于0.5)的弱学习算法，是否可以被提升为强学习算法？若两者等价，则我们只需寻找一个比随机猜测稍好的弱学习算法，然后将其提升为强学习算法，从而不必费很大力气去直接寻找强学习算法。就此问题，Schapire于1990年首次给出了肯定的答案。他主持这样一个观点：任一弱学习算法可以通过加强提升到一个任意正确率的强学习算法，并通过构造一种多项式级的算法来实现这一加强过程，这就是最初的Boosting算法的原型。 主要思想是，根据已有的训练样本集设计一个分类器，要求其准确率要比平均性能好，然后依次顺序加入多个分量分类器系统，最后形成一个总体分类器。 以一个二类问题举例。 步骤1：从大小为n的原始样本集D中随机选取n1 个样本点（不放回），组成样本集D1。