ann8-神经网路-第8章--神经网络集成.pdf

神经网络

NeuralNetworks

第八章

神经网络集成

史忠植

中国科学院计算技术研究所

/

内容提要

•8.1概述

•8.2神经网络集成的基本原理

•8.3神经网络集成的方法

•8.4结论生成方法

•8.5个体生成方法

•8.6基于Bagging的聚类

•8.7神经网络集成系统的规则获取

•8.8神经专家系统

2014-04-15史忠植神经网路2

集成学习

1990年汉森(L.K.Hansen)和萨拉蒙(P.Salamon)提出

了神经网络集成(neuralnetworkensemble)方法。

他们证明，可以简单地通过训练多个神经网络并将其结

果进行拟合，显著地提高神经网络系统的泛化能力。神

经网络集成可以定义为用有限个神经网络对同一个问题

进行学习，集成在某输入示例下的输出由构成集成的各

神经网络在该示例下的输出共同决定。

2014-04-15史忠植神经网路3

集成学习

Boosting是一大类算法的总称，最早由沙皮尔(R.E.

Schapire)提出。1995年弗洛德(Y.Freund)对Schapire的算

法进行了改进，提高了算法的效率。但沙皮尔(R.E.

Schapire)和弗洛德(Y.Freund)的算法在解决实际问题时有

一个重大缺陷，即要求事先知道弱学习算法学习正确率的下

界，这在实际问题中很难做到。1997年，沙皮尔(R.E.

Schapire)和弗洛德(Y.Freund)提出了著名的

Adaboost(AdaptiveBoost)算法，该算法的效率与Freund

算法很接近，却可以非常容易地应用到实际问题中，因此，

该算法已成为目前最流行的Boosting算法。

2014-04-15史忠植神经网路4

集成学习

1996年，Breiman从文献可重复取样技术(Bootstrap

Sampling)入手，提出了著名的Bagging方法。在该方法中，

各学习器的训练集由从原始训练集中随机选取若干示例组成

，训练集的规模与原始训练集相当，训练例允许重复选取。

这样，原始训练集中某些示例可能在新的训练集中出现多次

，而另外一些示例则可能一次也不出现。在预测新的示例时

，所有学习器的结果通过投票的方式来决定新示例的最后预

测结果。

2014-04-15史忠植神经网路5

集成学习

集成学习（EnsembleLearning）是一种机器学习范式，它使

用多个（通常是同质的）学习器来解决同一个问题

集成学习中使用的多个学习器称为个体学习器

当个体学习器均为决策树时，称为“决策树集成”

当个体学习器均为神经网络时，称为“神经网络集成

”

…………

问题

问题

…...

…...

(引自周志华：选择性集成ppt)