Adaboost的一种改进算法.pdfVIP

第 25卷 第 5期 小 型 微 型 计 算 机 系 统 VOlI25 NO．5 2004年 5月 MINI—M ICRO SYSTEMS ， M ay2004 AdaBoost算法的一种改进方法 李 斌 ，王紫石 ，汪 卫，施伯乐 (复旦大学 计算机信息技术系，上海 200433) 摘 要：Boosting是一种改善任意给定的机器学习算法准确性 的通用方法．主要针对 AdaBoost算法，介绍 了Ad— a13oost算法的研 究背景．分析 了实验过程 中出现的退化 问题 以及 目标类权重分布扭 曲的现象，提 出了一种基于调整权 重分布，限制权重扩张的改进方法，最后给 出了实验结果和分析． 关 键 词 ：AdaBoost；权重调整 ；权重限制 中图分类号：TP301．6 文献标识码 ：A 文 章 编 号 ：1000—1220(2004)05—0869—03 EnhancingM ethod forAdaBoost LIBin．W ANG Zi—shi，W ANG W ei，SHIBai—le (ComputerInformationandTechnologyDepartmentofFudanUnivers ，Shanghai200433，China) Abstract：Bo osting isageneralmethodforimprovingtheaccuracyofanygivenlearningalgorithm．Focusingprimarily ontheAdaBo ostalgorithm ，theformerpartoverviewstheresearchbackgroundofAdaBo ost．Inthelatterpart，wein— troduceaproblem ofdegradationoccurringintheexperimentsandcomeupwithaweight—。adjusting—_basedmethodto improveAdaBo ost，andalsoprovidetheanalysesofitsexperimentresults． Keywords：AdaBo ost；weight—adjusting；weight—limiting 1 介 绍 一 轮循环中训练集上的样本权重如何分布 ；二是许多条弱规 则如何合并成为一条准确 的预测规则．对第一个 问题 Ad— 机器学习研究是如何使机器从过去已有的现象中学习做 aBoost采取的方法是 ，如果前次循环生成的弱规则频繁地在 出准确预测的 自动技术．虽然直接建立高度准确的预测规则 某一样本上发生分类错误 ，那么该样本将被被赋予较大 的权 很困难的，但提出一些 中等准确程度的经验规则却相对简单． 重．在下一轮循环中，弱算法将其注意力集中到权重较大 的分 Boosting算法的基本思想就是基于这样一个事实：发现大量 类 困难的样本上．对于第二个问题 ，则使用各轮循环生成的弱 而粗略的经验规则要 比找到一条高度准确的预测规则容易得 规则进行预测 ，预测结果进行带权重投票 ，实验表明这是一种 多．为了使用 Boosting算法 ，我们首先需要一个弱算法 (weak 是自然而又有效的方法． Algorithm)来找到大量经验规则．Boosting算法循环调用弱 2 退化现象和问题 算法，每轮循环向弱算法输入训练集的不同子集 ，更准确的说 是带有不同权重分布的训练集．每一次被调用，弱算法都产生