3.6径向基函数神经网络模型与学习算法.pptVIP

2.5径向基函数神经网络模型与学习算法 概述 1985年，Powell提出了多变量插值的径向基函数(Radical Basis Function，RBF)方法 1988年， Moody和Darken提出了一种神经网络结构，即RBF神经网络 RBF网络是一种单隐层的三层前向网络 RBF神经网络有两种模型： 正规化网络和广义网络。 RBF网络的基本思想 用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定 隐含层空间到输出空间的映射是线性的 2.5.1 RBF神经网络模型 正规化网络 输入有M个神经元，任一神经元用m表示； 隐层有N个神经元，任一神经元用i表示； Φ(X,Xi)为基函数，它是第i个隐单元的激励输出； 输出层有J个神经元，任一神经元用j表示； 隐层与输出层间的权值用wij表示。 训练样本集X=[X1,X2,…,Xk,…,XN]T, 任一训练样本Xk=[xk1,xk2,…,xkm,…,xkM] ； 对应的实际输出为Yk=[Yk1, Yk2,…, Ykj,…, YkJ] ； 期望输出为dk=[dk1, dk2,…, dkj,…, dkJ] ； 当输入训练样本Xk时，第j个输出神经元的实际输出为： 其中基函数一般选用格林函数： 当为高斯函数时（一种特殊的格林函数）： t为高斯函数的中心，σ为方差 那么： 高斯函数的中心 Xi= [xi1,xi2,…,xim,…,xiM] 正规化网络的训练样本Xi与基函数Φ(X,Xi)一一对应，当N很大时，网络实现复杂，可以用加勒金(Galerkin)方法减少隐层神经元的个数。 广义网络 输入有M个神经元，任一神经元用m表示； 隐层有I个神经元，任一神经元用i表示； φ(X,ti)为基函数，它是第i个隐单元的激励输出； 其中ti=[ti1,ti2,…,tim,…,tiM]为基函数的中心 输出层有J个神经元，任一神经元用j表示； 隐层与输出层间的权值用wij表示。 阈值φ0表示令隐含层的一个神经元输出恒为1， 其与输出层权值为w0j； 训练样本集X=[X1,X2,…,Xk,…,XN]T, 任一训练样本Xk=[xk1,xk2,…,xkm,…,xkM] ； 对应的实际输出为Yk=[Yk1, Yk2,…, Ykj,…, YkJ] ； 期望输出为dk=[dk1, dk2,…, dkj,…, dkJ] ； 当输入训练样本Xk时，第j个输出神经元的实际输出为： 当基函数为高斯函数时： t为高斯函数的中心，σi为方差： 2.5.2 RBF网络的学习算法 学习算法需要求解的参数 径向基函数的中心 方差 隐含层到输出层的权值 学习方法分类（按RBF中心选取方法的不同分） 随机选取中心法 自组织选取中心法 有监督选取中心法 正交最小二乘法等 2.5.2 RBF网络的学习算法 自组织选取中心学习方法 第一步，自组织学习阶段 无导师学习过程，求解隐含层基函数的中心与方差； 第二步，有导师学习阶段 求解隐含层到输出层之间的权值。 高斯函数作为径向基函数 2.5.2 RBF网络的学习算法 网络的输出 设d是样本的期望输出值，那么基函数的方差可表示为 : 2.5.2 RBF网络的学习算法 自组织选取中心算法步骤 1.基于K-均值聚类方法求取基函数中心 （1）网络初始化。 随机选取I个训练样本作为聚类中心ti(0),设置迭代次数n=0。 （2）随机输入的训练样本Xk。 （3）寻找Xk离哪个中心最近，即寻找 i（Xk）=argmin||Xk-ti(n)|| （4）按下式重新调整聚类中心。 （5）判断是否学完所有的训练样本且中心的分布不再变化，则结束，否则n=n+1 2.5.2 RBF网络的学习算法 2.求解方差 RBF神经网络的基函数为高斯函数时，方差可由下式求解： 式中dmax为中所选取中心之间的最大距离。 3.计算隐含层和输出层之间的权值 隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下： 2.5.3 RBF网络学习算法的MATLAB实现 函 数 名 功 能 newrb() 新建一个径向基神经网络 newrbe() 新建一个严格的径向基神经网络 newgrnn() 新建一个广义回归径向基神经网络 newpnn() 新建一个概率径向基神经网络 RBF网络的MATLAB函数及功能 2.5.3 RBF网络学习算法的MATLAB实现 newrb() 功能 建立一个径向基神经网络 格式 net = newrb(P，T，GOAL，SPREAD，MN，DF) 说明 P为输入向量，T为