机器学习__Bagging课件.pptxVIP

Bagging 集成学习如何创建？如何组合？如何建立？构建组合分类器方法的逻辑视图 Bagging随机子集保证模型个体差异降低过拟合的可能性弱学习器强学习器是并行式集成学习方法最著名的代表。应用于同类型的模型个体，基于自助采样法，在样本集中对有放回抽样的随机子集训练（降低过拟合的可能性），对分类任务使用简单投票法，对回归任务使用简单平均法。 Bagging随机子集保证模型个体差异从样本集中重采样(有重复的)选出m个样本在所有属性上，对这m个样本建立分类器重复以上两步n次，即获得了n个分类器将待分类数据放在这n个分类器上，最后根据这n个分类器的投票结果，决定数据属于哪一类是并行式集成学习方法最著名的代表。应用于同类型的模型个体，基于自助采样法，在样本集中对有放回抽样的随机子集训练（降低过拟合的可能性），对分类任务使用简单投票法，对回归任务使用简单平均法。 Bagging自助采样在每个样本上构建分类器每个样本有1-(1–1/n)n的概率被选为抽样样本的一部分自助采样法给Bagging带来了一个优点：由于每个个体学习器只使用了原始样本集中约63.2%的样本，剩下的约36.8%的样本可用作验证集来对强学习器的性能进行包外估计，降低了Bagging的过拟合可能性。 Bagging图 装袋算法通过投票/平均组合预测每个分类器都有相同的权值“理想化” 版本:随机形成多个相同大小（如m大小）的训练集(而不是仅仅有一个m大小的训练集)为每个训练集构建分类器组合分类器的预测学习算法是不稳定的？ 对不稳定的分类器进行组合，几乎总能提高性能 Bagging考虑 1-维数据集: x表示一维属性，y表示类标号。决策树分类决策规则: x ? k vs. x k基于熵的分裂点kx ? kyleftyrightTrueFalse Bagging不进行Bagging，能产生的最好的决策树的分裂点是x ? 0.35或 x ? 0.75 。无论选择哪一个，树的准确率最多为70%。 Bagging Bagging Bagging Bagging假设测试集与原始数据相同用多数投票法确定集成分类器的类别预测： Baggingid身高(m)体重(kg)性别11.666女21.5960男31.6259女41.7880男51.6870女61.7959男71.5340女81.6365男91.6550女101.8569男第一轮采样[[ 1.59 60. ] [ 1.63 65. ] [ 1.59 60. ] [ 1.79 59. ] [ 1.68 70. ] [ 1.68 70. ] [ 1.62 59. ] [ 1.6 66. ] [ 1.63 65. ] [ 1.62 59. ]]第二轮采样第三轮采样[[ 1.79 59. ] [ 1.68 70. ] [ 1.63 65. ] [ 1.53 40. ] [ 1.68 70. ] [ 1.63 65. ] [ 1.68 70. ] [ 1.78 80. ] [ 1.63 65. ] [ 1.59 60. ]][[ 1.79 59. ] [ 1.68 70. ] [ 1.53 40. ] [ 1.62 59. ] [ 1.62 59. ] [ 1.65 50. ] [ 1.63 65. ] [ 1.6 66. ] [ 1.62 59. ] [ 1.68 70. ]][[ 1.79 59. ] [ 1.6 66. ] [ 1.6 66. ] [ 1.79 59. ] [ 1.68 70. ] [ 1.53 40. ] [ 1.6 66. ] [ 1.62 59. ] [ 1.63 65. ] [ 1.63 65. ]][[ 1.79 59. ] [ 1.68 70. ] [ 1.65 50. ] [ 1.65 50. ] [ 1.63 65. ] [ 1.65 50. ] [ 1.68 70. ] [ 1.62 59. ] [ 1.53 40. ] [ 1.63 65. ]]第四轮采样第五轮采样分类准确率： 70%，60%，80%，60%，60% Bagging[ 1 1 1 -1 -1 -1 1 -1 -1 -1][-1 -1 -1 -1 1 -1 -1 -1 1 -1][ 1 -1 -1 -1 -1 -1 -1 -1 -1 -1][ 1 1 1 -1 1 -1 1 1 1 -1][ 1 -1 1 1 1 1 1 -1 1 1]预测：[1, -1, 1, -1, 1, -1,