第五章：分类8 new.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 5.6 其它学习问题 集成学习(Ensemble Learning)是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合，从而获得比单个学习器更好的学习效果的一种机器学习方法。 理论依据：多个弱学习器通过一定的集成方法可以集成为一个强学习器 强学习算法: 准确率很高的学习算法 弱学习算法: 准确率不高,仅比随机猜测略好 5.6 其它学习问题 算法描述： 给出一个训练数据集D 产生多个假设空间，h1, h2, …, hL 可选项：决定每个对应的权重w1, w2, …, wL 分类预测新的数据，根据Σi wi×hi θ 关键问题: 如何产生不同分类器 h1,h2,… 如何集成各个分类器 f(h1(x),h2(x),…) 5.6 其它学习问题 BAGGING ： Bootstrap?AGGregatING? (Breiman, 1996) Bagging算法是最早，也是最具有指导意义和实施最简单，而且效果惊人的好的集成学习算法。Bagging?算法的多样性是通过由有放回抽取训练样本来实现的，用这种方式随机产生多个训练数据的子集，在每一个训练集的子集上训练一个分类器，最终分类结果是由多个分类器的分类结果多数投票而产生的。 方法：产生N个训练集，然后训练N个基分类器，再对N个基分类器进行投票。适用于不稳定的学习过程，即数据集的一个小变动会产生大的差别，例如决策树、多层感知器。 5.6 其它学习问题 Boosting?算法通过顺序给训练集中的数据项重新加权创造不同的基础学习器。Boosting?算法的最终模型是一系列基础学习器的线性组合而且系数依赖于各个基础学习器的表现。虽然?Boosting?算法有很多的版本，但是使用目前最广泛的是?AdaBoost?算法。 方法：重复应用一个基学习器来修改训练数据集，这样在预定数量的迭代下可以产生一系列的基学习器。在训练开始，所有的数据项都被初始化为同一个权重，在这次初始化之后，每次增强的迭代都会生成一个适应加权之后的训练数据集的基础学习器。每一次迭代的错误率都会计算出来，而且正确划分的数据项的权重会被降低，然后错误划分的数据项权重将会增大。权重小的样本被再次抽到的概率降低。 5.6 其它学习问题 Representation Learning and Deep Learning Representation Learning: learning representations of the data that make it easier to extract useful information when building classi?ers or other predictors. From Yoshua Bengio ??Most critical for accuracy ?? Often hand-craft and labor-intensive ?? Most time-consuming in development cycle Such feature engineering highlights the weakness of current learning algorithms: their inability to extract the discriminative information from the data. From Kai Yu’ PPT 5.6 其它学习问题 Representation Learning and Deep Learning Representation Learning: learning representations of the data that make it easier to extract useful information when building classi?ers or other predictors. From Yoshua Bengio Representation Learning ! From Kai Yu’ PPT 5.6 其它学习问题 Representation Learning and Deep