关于AdaBoost有效性分析.docVIP

关于AdaBoost有效性分析 　　【摘要】本文分析了Adaboost的概念，Bagging方法训练集选取方法，接着，本文重点分析了AdaBoost有效性，随后，分析了AdaBoost训练误差，最后，本文简单阐述了集成学习算法构造及AdaBoost算法推广。 　　【关键词】；有效性；分析 　　中图分类号： TP311 文献标识码： A 文章编号： 　　一、前言 　　Adaboost作为一种迭代算法，其使用的领域也是很广的，因此，分析其有效性具有很强的现实意义。提高Adaboost有效性是我们进一步使用Adaboost的前提，因此，对于Adaboost有效性的分析需要深入开展。 　　二、Adaboost概述 　　Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。 　　目前，对adaBoost算法的研究以及应用大多集中于分类问题，同时近年也出现了一些在回归问题上的应用。就其应用adaBoost系列主要解决了: 两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题。它用全部的训练样本进行学习。 　　三、Bagging方法训练集选取方法 　　比起AdaBoost,研究和使用Bagging少得多,究其原因是缺乏选取训练集St的规律.前面已经在算法流程上对二者进行了统一,参照AdaBoost有效性分析,可对Bagging制定训练集的选取策略.仿照AdaBoost权值调整是确保下一轮训练输出ht+1(x)与ht(x)的正确(错误)分类样本有充分的交叉,在Bagging中,可把整个样本集S分成两个子集Sa,Sb,在其中一个子集上通过弱学习算法得到分类器ht(x)后,下一轮从ht(x)正确分类集和错误分类集中各取一半构成新的训练子集,则就确保了前后相邻两次训练得到的弱分类器的正确分类样本交叉,类似AdaBoost,还需要考虑被正确分类和被错误分类累计次数. 　　四??AdaBoost有效性分析 　　从前面弱学习算法提升为强学习算法的图示分析以及简化形式弱学习定理的证明可见，被正确分类的样本，其分布的均匀性是非常重要的，否则，如果集中在固定的一些样本上，则另一些样本将始终满足不了“正确分类次数大于错误分类次数”这一条件，最终的分类器错误率将难于降低． 　　实际上，各弱分类器是基于不同的训练集(或者不同权重的训练集)通过训练而得，因此，此处的均匀性要求也就是对训练算法的“不稳定”要求，即常说的“不稳定”学习算法．当不同的样本或样本权值调整后，新得到的弱分类器的正确分类样本集要有大的变化，才有可能保证正确分类样本分布的随机均匀性．让不同的弱分类器满足正确分类样本在整个样本集上分布的均匀性，是多个弱分类器提升为强分类器的保证条件． 　　反过来，只要能够采取一定的策略，确保不同的弱分类器正确分类样本分布的均匀性，并满足肚收敛或大于一个大于零的常数，就一定可以得到高精度的强分类器．AdaBoost之所以是一个效率较高的方法，且不易出现过配现象，其权值调整策略的真正目的正是保证不同弱分类器正确分类样本分布的均匀性。 　　1 、AdaBoost的权值调整分析 　　 　　换句话说，与的正确与错误分类样本必须交义，这是保证正确分类样本实例的随机性和在样本集S中分布均匀性的一种措施，不允许偏向某些固定样本.随着T增加，被正确分类次数越少的样本权值将越大，从而聚焦到这些错分次数多的样本上，其目的也是让每个样本有相等的机会 　　被正确分类.由前面的弱学习算法提升为强学习算法的图示分析也可以看出，只有儿乎每个样本被正确分类的机会尽量相等，随着T的增大，才能保证每个样本被正确分类的次数多于一半.A daBoost中权重调整真正目的正是为此. 　　2、 AdaBoost使用的错误率分析 　　对AdaBoost的有效性还有一点需要解释就是其使用的错误率，在AdaBoost中， ，其并非真正的错误率 ，不能保证，太多的肯定无法实现由弱分类器提升为强分类器.但正如前面分析指出的,我们并不要求每个弱 　　分类器的错误率都小于1/2, 只要μ=大于或收敛到一个大于零的常数即可.在下面定理的支撑下,AdaBoost使用εt的合理性就得到保证: 　　定理3.在AdaBoost中, 与是概率相等的.