一种新的多神经网络分类器集成方法.docVIP

一种新的多神经网络分类器集成方法 林晓帆 吴佑寿 丁晓青 （清华大学电子工程系图象教研组 北京 100084） 摘 要：本文从提高后验概率估计准确程度的角度出发，提出一种新的利用线性回归进行多神经网络集成的算法。为了能对各种网络都应用这一方法，文中还给出了一种将神经网络输出映射为后验概率估计的有效方法。手写数字识别的实践说明了本文理论和方法的有效性。 关键词：神经网络，线性回归，多分类器集成，手写数字识别 1.引言 在模式识别领域多分类器集成已经成为一个趋势，人们对此已进行了很多研究[3][5]。模式分类器的两个关键环节是：特征的提取和分类器。根据这两个因素，我们把分类器集成分为特征不同和特征相同两种情形。本文主要研究的是特征相同的情况下，用不同类型的神经网络分类器、或不同规模和初始化条件下形成的同种类型的神经网络分类器的集成。这种集成提高识别率的机理与第一种情况是不同的。前者是各个分类器利用了输入模式不同的信息，而后者实际上是通过在同一特征空间对后验概率的多次估值提高估计的准确度，因此很多基于方法独立性假设的集成方法是不适用于这种类型的集成的。 从80年代开始，人们提出了各种神经网络结构，对于某个分类问题，可以在同样的特征下设计出不同的神经网络分类器。一种做法是：在这些分类器中选出性能最好的一个；另一种策略则是探索如何将这些分类器的结果综合起来。直观上第二种策略应该能获得更高的识别率，很多研究工作者理论和实践的结果[1][4]也证明了这一点。 [3]中把集成按利用的信息分为三种：符号层次(Abstract Level)、排序层次(Rank Level)和度量层次(Measurement Level)。度量层次信息量最大，若能有效利用，将能最大幅度地提高识别性能。利用度量层次信息的典型集成方法是将神经网络的输出直接平均[6][8]，但这种做法在各神经网的输出含义不同、各网络性能差异较大或各网络的相关性不同时就很难奏效了。 本文将从后验概率估计准确度的角度分析基于同种特征的多神经网集成的机理，提出一种新的利用线性回归进行多神经网络分类器集成的方法，这种方法能根据各网络的分类性能、各网络同其它网络的相关程度给每个网络的后验概率估计赋予不同的权值，通过加权平均提高后验概率估计的准确程度，进而提高识别率。为了能对输出含义不同的网络都采用这种方法，本文给出一种通过非线性变换将神经网络输出映射为后验概率估计的方法。 2.利用线性回归提高后验概率估计的准确性 设待分类对象有C个模式类别（），M个神经网络分类器，对输入样本s提取的特征向量为x，其真实的后验概率为(x)=，第i个分类器后验概率估计为(x)=[(|x), (|x),…,(|x)], i=1,2...M。由于训练样本的不充分、训练时的局部极小等原因，造成估计的后验概率有误差：(|x)=， 进而造成判决的错误率要比贝叶斯错误率高，[6]中对由于后验概率估计不准造成的“额外”的错误率（相对贝叶斯错误率）进行了定量分析。因此，提高后验概率估计的准确性可以提高识别率。 基于这样的考虑，我们可以用统计中“多次平均降低测量误差”的思路，取各个网络后验概率估计的加权和，减小估计误差。这里对不同网络给与不同权值是考虑到它们各自性能的差异和彼此相关程度的不同。设各个分类器的权重为,则： 权值选择的原则是使E{}达到最小，即：，k=1,2...,M （1） 由于} 式 （1）即：,k=1,2...M （2） 令：， W= ，A= ，B= 则式（2）等价于： AW=B （3） 所以 W=AB （4） 此时： E{}= （5） 因为，所以A是一个对称矩阵，由于实际反映的是第i个和第k个分类器后验概率估计的相关性，我们称A为“分类器互相关矩阵”(Inter-Classifier Correlation Matrix, 简称ICCM)。是第k个分类器后验概率估计与真实后验概率之间的相关性，反映的是各分类器的准确性，我们称B为“分类器准确性向量“(Classifier Accuracy Vector,简称CAV)。 在实际中，A和B都是通过统计估计得到的：取N个训练样本,则： (6) (7) 以上的算法实际上寻找真实后验概率同几个神经网络的估计后验概率之间的线性关系，就是统计中的多元线性回归[10]，式（3）即为回归中的正规方程。 把神经网络分类器的输出映射为后验概率 在前面的讨论始终假设各个神经网络的输出就是对后验概率的估计。对于有些类型的网络，这样的假设是可行的。但对象SOFM(Self Organized Feature Mapping)这样直接输出不是后验概率估计的网络就不行了。针对这个问题，我们这里提出一种新的估计方方法