神经计算研究现状及发展趋势 专业论文.doc

神经计算研究现状及发展趋势* 陈兆乾 周志华 陈世福 （南京大学计算机软件新技术国家重点实验室，南京210093） 摘要 神经计算是软计算的重要组成部分。近二十年来，该学科的研究受到了极大的重视，取得了大量成果，但也暴露出很多目前研究中存在的不足。本文综述了神经计算的研究现状及发展趋势，主要介绍了神经计算理论、方法、应用等不同层面的一些重要研究领域的研究进展，并指出了一些有待研究的重要问题。 关键词 神经网络，VC维，计算学习理论，集成，数据挖掘，快速学习，增量学习，规则抽取 1 引言 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，其组织能够模拟生物神经系统对真实世界所作出的交互反应 [Koh88]。基于神经网络建立计算模型，并用于解决科学和工程中的问题就称为神经计算。 该领域最早的研究可上溯到McCulloch和Pitts提出的M-P模型 [MP43]。在Hebb提出了Hebb学习规则 [Heb49]、Rosenblatt [Ros58] 研制出感知机（Perceptron）之后，神经计算受到了极大的重视，吸引了大批研究人员参与该领域的研究工作，并取得了一定的进展。但是，由于1969年Minsky和Papert [MP69] 指出感知机的缺陷并表示出对该方面研究的悲观态度，同时，以产生式规则为内部表示的专家系统方法展示出灿烂的前景，很长时间内神经计算的研究处于停滞状态。在此期间，为专家系统服务的知识工程成为了人工智能研究的主流。但是，随着知识工程的发展，Feigenbaum等 [Fei81] 知识工程倡导者意识到了所谓知识瓶颈问题，即将人类专家的知识转化为机器可执行的规则存在着很大的困难，而如果机器能够自学习，则可望解决该瓶颈问题。于是，机器学习研究得到了迅猛的发展 [MCM83] 。在研究中，研究者们 [Mic87, Qui88] 发现，与机械学习、类比学习等学习方式相比，示例学习是解决知识瓶颈问题唯一可行的方法。1982年，Hopfield [Hop82] 利用全互连型神经网络和计算能量函数成功求解了计算复杂度为NP完全型的TSP（Travelling Salesman Problem）问题。这充分展示了神经计算作为一种数值型示例学习方法蕴含的巨大潜力。从此，神经计算成为了一个非常热门的研究领域，经过多年的发展，已成为人工智能两大主流（连接主义和符号主义）之一。随着研究的深入，目前神经计算研究中存在的问题也逐渐暴露出来，其中的一些已成为神经计算进一步发展的阻碍。但是，从另一个方面来看，它们也揭示了该领域下一步应该着重研究的问题。 本文从理论、方法、应用等不同层面，综述了神经计算一些重要研究领域的研究进展，主要包括神经网络VC维计算、神经网络集成、基于神经网络的数据挖掘，并指出了一些有待研究的重要问题。限于篇幅，本文没有对神经计算的其他重要领域做深入剖析，仅在结束语中简要述及。 2 神经网络VC维计算 2.1 重要性 神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架 [CC98]，经验性成分相当高。这使得研究者们难以对各种神经计算模型的性能及其适用范围进行理论分析，仅能用不十分可靠的实验性比较评价优劣。另一方面，在利用神经计算解决问题时，也只能采取具体问题具体分析的方式，通过大量费力耗时的实验摸索，确定出合适的神经网络模型、算法以及参数设置。这些缺陷已经对神经计算的进一步发展造成了极大的阻碍。如果能提供一套比较完备的理论方法，将可望解决上述问题。 最近十年里，很多研究者都致力于这方面的研究，力图在一个统一的框架下来考虑学习与泛化的问题 [Wol95]。PAC（Probably Approximately Correct）学习模型 [Val84] 就是这样一个框架。作为PAC学习的核心以及学习系统学习能力的度量，VC维（Vapnik-Chervonenkis dimension）在确定神经网络的容量（capacity）、泛化能力（generalization）、训练集规模等的关系上有重要作用。如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，我们可以确定所需要的网络结构。联系到Hornik等人 [HSW89] 所证明的结论，即“仅有一个隐层的网络就可以任意精度逼近任何函数，但确定该网络的结构是NP难问题”，显然，神经网络VC维计算的研究对神经网络的发展将会产生极大的促进作用。 2.2 VC维 学习系统的容量对其泛化能力有重要影响 [Vap82, BH89, GVBBS92]。低容量学习系统只需要较小的训练集，高容量学习系统则需要较大的训练集，但其所获的解将优于前者。对给定训练集来说，高容量学习系统的训练集误差和测