多神经网络分类器的融合方法的比较陈俊芬.pdf

多神经网络分类器的融合方法的比较 071002 【摘 要】 【关键词】 【中图分类号】 【文献标识码】 【文章编号】 文章第二部分是 2 类分类问题的融合模型表格，第三部 分介绍 9 种常见的融合方法，第四部分是实验与分析，最后 1990 年 Hanse 和 Salamon 提出了神经网络融合方法 一部分是结论与展望。 [1] （neural network ensemble） ，证明可以简单训练多个神 经网络并将其结果进行合成，能显著地提高神经网络系统的 泛化能力。神经网络融合不仅易于使用，还能够以很小的运 设D ,D ,L,D 表示L个分类器，可以是同一类型也可以是 算代价显著提高学习系统的泛化能力。因此，多神经网络融 1 2 L [2-3] 不同类型。比如都是神经网络，也可以是神经网络、决策树 合 已被成功应用于回归分析、图像分析、地震信号分析、 语音识别等研究领域。 及K-近邻的混合。f (x ) 表示分类器 D 将一个事例 x 分到第 i i , j 常见的融合方法有算术平均、加权平均、多数投票、取 大（小）、模糊积分等。到底哪一种融合方法更优越？没有结 j类的概率，i 1,2,L,L; j 1,2 。表1中，第一阶段描述单 论。但是这些融合方法各有优点，比如算术平均[3-4]、加权平 个分类器的情况，而第二阶段描述融合系统的情况。我们可 均法和投票法[2]更多地被使用。因为它们本身不需要其他背 以看出，第一阶段的各个分类器的输出是第二阶段融合系统 景理论知识，直接使用，简单方便。而模糊积分[5-6]是考虑到 的输入，而融合系统的输出是最终的类标。 分类器之间存在交互作用而提出的一种新型融合方法。 Alkoot 和 Kittler 在文献[7]中进行了加入正态分布或均 匀分布的噪音数据后，算术平均法和乘积法对噪音数据的敏 感度的理论分析和实验对比。而文献[8]针对于正态分布和均 匀分布的分类器输出，对 6 种融合方法进行理论分析，给出 融合系统的分类错误率的计算公式，并与单个分类器的分类 错误率进行对比。文献[9]讨论了多数投票融合方法下分类器 的选择策略和多样性度量的实际应用，实验验证不恰当的多 样性度量对融合系统的分类错误率的影响。 文献[7-8]中的理论分析都在分类器相互独立的假设前提 条件下进行，而实际上分类器之间不一定是相互独立。本文 使用互不相容的训练子集来训练神经网络，以期望提高神经 网络间的独立性。然后再比较融合系统的泛化能力，而融合 表 1 中的融合方法可以是第三部