人工智能和机器学习--PPT12-集成学习.pdfVIP

集成学习

Bagging,BoostingandStacking

王秋月

中国人民大学信息学院

决策树：高方差

▪问题:决策树容易过拟合

▪剪枝有助于将方差

（variance）减少

到一定程度

▪通常使模型泛化的效

果并不显著

改进：使用多棵树

创建许多棵不同的树

改进：使用多棵树

结合所有树的预测来降低方差

什么是集成学习

训练多个学习器来完成预测任务（分类或回归），然后

通过结合多个学习器的预测结果而得到最终的结果。

•简单平均

•投票：硬投票、软投票

“三个臭皮匠，顶个诸葛亮”？

为什么？

1.问题简单，且有唯一正确答案；

FrancisGalton2.独立、有差异的个体

（1822-1911）

英国科学家、探险家

如何构建多个有差异的学习器

•不同的机器学习模型

•相同的机器学习模型，

–不同的训练数据集

–不同的特征选择

–不同的超参数

BAGGING

如何创建多棵树

使用bootstrapping，即有放回的随机抽样

如何创建多棵树

创建多个bootstrapped样本

如何创建多棵树

使用每个bootstrapped样本构建一棵决策树

样本中的数据分布

0.40▪给定一个包含n条记录的

数据集，创建n个

0.35bootstrapped样本

n

)

n

/

1▪对于给定的一条记录x,

-

1

(

0.30

0.25▪每个bootstrapped样本

020406080100包含大约2/3条记录

NumberofBootstrappedSamples(n)

聚集结果

多棵树的结果通过投票或者取平均得到每个样例点的最终结果

VotetoForm

aSingle

Classifier

聚集结果

多棵树的结果通过投票或者取平均得到每个样例点的最终结果

Data

Point

VotetoForm

aSingle

Classifier

聚集结果

多棵树的结果通过投票或者取平均得到每个样例点的最终结果

Voteto