FNN的推广性量度G-%2c0-及应用.pdfVIP

‘中匿控制会议论文集)，682-688 1998年9月16-22日，浙江宁波 FNN的推广性量度G。及其应用 黄山松杜继宏冯元琨 清华大荦自动化系，北京100084 ■要：本文讨论了前向神经网络(FNN)的推广性和FNN处理能力之问的关系，进而通过时 F州处理能力的度量定叉了FNN的推广性量度G。，并绔出了估计G0的算法·本文 还提出了利用Go来估计解决目标问题所需要的FNN规模的方法t井把谊方法应用 于函敷逼近问题和样本分类问题．仿真结果证实了谊方法的有效性． 关键字：前向神经网络，插值_i是盖，推广性 一、引言 神经网络的推广性问题是指神经网络对于非训练样本数据的处理能力问题。显然推广 性问题对于神经阿络的应用来说是最重要的研究课题之一。由于神经网络本身的复杂性， 推广性问题的研究目前还很薄弱∞l，主要集中在对一个网络的推广性进行评价，进而研究 的推广性。另外的一大类方法在训练中逐步改变网络规模，试图得到推广性较好的网络14”l。 目前对于推广性的定量衡量还没有好的结果。 神经网络的推广性受到很多因素的影响。显然样本的数量和对于实际问题的反映程度 是网络有好的推广性的前题。目标问题本身的复杂程度对于训练样本和网络的处理能力都 提出了要求，而网络本身的处理能力与网络的复杂程度密切相关。除此之外，随机因素也 影响神经网络的推广性，例如：网络权值的初始值、训练算法的参数、具有随机特性的训 练算法等等。显然各种训练算法本身也都与推广性有关。在以往的研究中，总是综合考虑 上述各种因素的影响，我们则把这些因素分为两类：硬的因素和软的因素。目标问题的复 杂程度和网络的娃理能力这一对矛盾是影响推广性的本质因素．我们称之为硬因素。其它 我们称为软因素。本文则以硬因索为出发点来考察网络的推广性问题，由于撇开了具有随 机性的软因素，所以有望得到更一般的结果。 本文提出了前向神经网络(FNN)插值误差(IaE)的概念，用于定量衡量孙m的相对处理 能力。通过对IIlE性质的研究得到FNN在统计意义上处理能力的估计值，定义为孙Ⅲ的 推广性量度G。，本文同时给出了估计G。的算法，并计算了对于三层全联接的FNN在特定 条件下G0的数据。在本文的撮后，我们给出了利用G0来估计解决日标问题所需要的三层全 联接孙『N规模的方法．即估汁所需要的隐层神经元数量的上限和下限的方法，并把该方法 用于指导函数逼近问题和分类问题。 二、FNN的插值误差 定义1：卧州在训练样本点上的输出经过线性插值后形成的曲线、曲面或超越面称 作在训练样本上孙Ⅲ的当前样本曲面．简称，M，的萍本曲厦兀把训练样本点输出本身经 过线性插值得到的曲线、曲面或超曲面称作目帮西兹的律事廊厦L FNN训练的过程是把FNN的样本曲面逼近目标函数的样本曲面的过程，当样本点上 的均方误差小于指定值时，由于线性插值的原因，两个样本曲面在整个输入空间上的均方 误差也小于指定的值。 定义2：bTqN的插詹堤羞是FNN的输出与它在样本曲面上对应值的差的平方均值， 简称暂营堤差。即：InE=f(y—Y，)2 矗 南 由于FNN的输出只能得到离散的数值，实际计算IItE时要通过选取足够数量的输入 可 {甲{是集合中中元素的个数。 hE衡量了FNN样本曲面和FNN实际输出曲面的差别．即相对于样本曲面来说，网 络提供的更复杂的曲面的复杂程度。也即衡量了当前网络相对于网络的样本曲面所提供的 额外的处理能力，正是这种额外的处理能力使网络可以模拟非样本点上目标问题的行为。 这种处理能力可能大于、等于或小于目标问题本身所需要的网络处理能力。当它较大时， 使得网络可能提供比问题更复杂的输出血面，使得网络推广性较差；当它较小的时候，可 能使网络无法提供问题所需要的复杂程度的曲面，也使网络推广性较差；而当它与目标问 题所需要的处理能力相适应的时候，网络很有可能提供与目标问题相接近的输出曲面，这 样，在整个输入空间上的平均效果将使网络的推广性较好。 址是针对特定FNN的某个特定状态和一定的训练样本集合定义的，当网络状态确定 时