RBF神经网络学习算法.ppt

RBF神经网络及学习算法 RBF网络特点 只有一个隐层，且隐层神经元与输出层神经元的模型不同。 隐层节点激活函数为径向基函数，输出层节点激活函数为线性函数。 隐层节点激活函数的净输入是输入向量与节点中心的距离（范数）而非向量内积，且节点中心不可调。 隐层节点参数确定后，输出权值可通过解线性方程组得到。 隐层节点的非线性变换把线性不可分问题转化为线性可分问题。 局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输入输出映射时，在相同逼近精度要求下，RBF所需的时间要比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。 全局逼近和局部逼近 RBF网络的工作原理 RBF神经网络两种模型 两种模型的比较 函数逼近问题（内插值） 一般函数都可表示成一组基函数的线性组合，RBF网络相当于用隐层单元的输出构成一组基函数，然后用输出层来进行线性组合，以完成逼近功能。①给定样本数据 ②寻找函数，使其满足： 1.网络隐层使用Ｑ个隐节点。 2.把所有Ｑ个样本输入分别作为Ｑ个隐节点的中心。 3.各基函数取相同的扩展常数。 4.确定权值可解线性方程组： 设第j 个隐节点在第i个样本的输出为： 可矩阵表示： ,若R可逆，则解为 根据Micchelli定理可得，如果隐节点激活函数采用 径向基函数，且 各不相同，则线性方程组 有唯一解。 举例：RBF网络实现函数逼近 1.问题的提出：假设如下的输入输出样本，输入向量为[-1 1]区间上等间隔的数组成的向量P,相应的期望值向量为T。 P=-1:0.1:1; T=[-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201]; %以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点。 figure; plot(P,T,+) title(训练样本) xlabel(输入矢量P) ylabel(目标矢量T) grid on %目的是找到一个函数能够满足这21个数据点的输入/输出关系，其中一个方法是通过构建径向基函数网络来进行曲线拟合 2.网络设计：设计一个径向基函数网络，网络有两层，隐含层为径向基神经元，输出层为线性神经元。 p=-3:0.1:3;a=radbas(p);figure;plot(p,a)title(径向基传递函数)xlabel(输入p)ylabel(输出a) grid on % 每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将这些径向基函数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确，那么径向基函数网络就完全能够精确的逼近任意函数。 a2=radbas(p-1.5);a3=radbas(p+2);a4=a+a2*1+a3*0.5;figure;plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m--);title(径向基传递函数之和)xlabel(输入p)ylabel(输出a) grid on % 应用newb()函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值进行调整，从而进行函数逼近，预先设定均方差精度为eg以及散布常数sc。eg=0.02;sc=1;net=newrb(P,T,eg,sc); 3.网络测试：将网络输出和期望值随输入向量变化的曲线绘制在一张图上，就可以看出网络设计是否能够做到函数逼近。 figure;plot(P,T,+);xlabel(输入);X=-1:0.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off;legend(目标,输出) grid on 分类问题 低维空间：线性不可分 高维空间：线性可分 举例：逻辑运算异或的分类 RBF学习算法 RBF学习的三个参数：①基函数的中心 ②方差（扩展常数） ③隐含层与输出层间的权值 两种方法中心的选取 一. 自组织中心选取法 1989年，Moody和Darken提出了一种由两个阶段组成的混合学习过程的思路。