第章径向基函数网络.pptVIP

人工神经网络及应用 主讲 何东健 6.1 径向基函数 用函数来描述一个实际对象，需要一个函数空间。最熟悉的是多项式函数空间，一个简单函数x和他自身的乘积xn做线性组合得到。 如: f(x)=ax+bx2+cx3+dx4 三角多项式函数空间，也是eix和他自身的乘积einx做线性组合得到。 高维的数值分析问题，选择何种函数空间和基底? 希望能有一个简单的函数φ(.)经过一些简单的运算就能得到函数空间的基。国际上处理多元函数问题的基： （1）楔型基函数 （2）径向基函数RBF（Radial basis function） {φ(||x-c||)} 径向基函数指某种沿径向对称的标量函数，通常定义为空间中任一点X到某一中心 ci之间欧氏距离的单调函数。 设有P个输入样本Xp，在输出空间相应目标为dp。 需要找到一个非线性映射函数F(x)，使得： F(Xp)＝ dp 选择P个基函数，每个基函数对应一个训练数据，各基函数的形式为： φ(||X- Xp ||)，p=1,2,......,P Xp是函数的中心。 φ以输入空间的点X与中心Xp的距离为自变量。故称为径向基函数。 定义F(X)为基函数的线性组合 令φ ip=φ(||X-Xp||)。上述方程组可改写为 用Φ表示φip的P×P矩阵; ΦW＝d 若Φ可逆，可解出 W=Φ-1d 最常用的径向基函数是高斯核函数，形式为 其中c i为核函数中心， σi为核函数的宽度参数，控制基函数的径向作用范围，即方差(扩展常数)。 例 用径向基函数映射一个函数 p = -3:.1:3; a = radbas(p); plot(p,a) a2 = radbas(p-1.5); a3 = radbas(p+2); a4 = a + a2*1 + a3*0.5; plot(p,a,b-,p,a2,b--,p,a3,b--,p,a4,m-) 6.2 径向基函数网络（RBF） 是在借鉴生物局部调节和交叠接受区域知识的基础上提出的一种采用局部接受域来执行函数映射的人工神经网络，具有最优逼近和全局逼近的特性。 网络的学习等价于在多维空间中寻找训练数据的最佳拟合平面，隐层的每一个神经元的传递函数都构成拟合平面的一个基函数，故称为 径向基函数网络。 RBF网络是一种局部逼近网络，对输入空间的某一个局部区域，只存在少数神经元用于决定网络的输出。 网络由一个隐含层和一个线性输出层组成。隐含层最常用的是高斯径向基函数，而输出层采用线性激活函数。 RBF 网络的权值训练是一层一层进行的，对径向基层的权值训练采用无导师训练，在输出层的权值设计采用误差纠正算法，为有导师训练。 与BP网络相比，RBF必BP网络规模大，但学习速度快，函数逼近、模式识别和分类能力都优于BP网络。 RBF神经元模型 R维输入的神经元模型如图。||dist||模块表示求取输入矢量和权值矢量的距离。传递函数为高斯函数（radbas）,函数的输入n为p和w的距离乘以阈值b。 高斯函数表达式为： 中心和宽度是径向基函数的两个重要参数。神经元的权值矢量w确定基函数的中心，当输入p和w重合时，径向基函数神经元输出达到最大值，p与w的距离越远，输出越小。神经元的阈值b决定了径向基函数的宽度。 在RBF 中，输入层到隐含层的基函数输出是一种非线性映射，而输出则是线性的。这样，RBF 网络可以看成是首先将原始的非线性可分的特征空间，变换到另一线性可分的空间（通常是高维空间），通过合理选择这一变换使在新空间中原问题线性可分，然后用一个线性单元来解决问题，从而很容易的达到从非线性输入空间向输出空间映射的目的。 注意：由于RBF 网络的权值算法是单层进行的，它的工作原理采用的是聚类功能，由训练得到输入数据的聚类中心，通过σ值来调节基函数的宽度。虽然网络结构看上去是全连结的，实际网络是局部工作的，即对输入的一组数据，网络只有一个神经元被激活，其他神经元被激活的程度可忽略。所以RBF网络是一个局部逼近网络，训练速度比BP 网络快2～3 个数量级。 6.3 RBF网络学习方法 RBF 网络有3 组可调参数：隐含层基函数中心、方差和隐含层单元到输出单元的权值。 这些参数的确定主要有两种形式： 一种是根据经验或聚类方法选择中心及方差，当选定中心和方差后，由于输出是线性单元，它的权值可以用迭代的最小二乘法直接计算出来。 另一种是通过训练样本用误差纠正算法进行监督学习，逐步修正以上3 个参数，