神经网络讲义第7章课件.ppt

第七章 径向基网络 BP网络在训练过程中需要对网络的所有权值和阈值进行修正,把它称之为全局逼近神经网络。全局逼近神经网络学习速度很慢,所以在一些实时性较强的场合(如实时控制),其应用受到限制。径向基网络是一种局部逼近网络,对于每个训练祥本,它只需要对少量的权值和阈值进行修正,因此训练速度快。 7.1 径向基网络模型 径向基函数(radial basis function , RBF)方法是在高维空间进行插值的一种技术。Bromhead和Love在1998年率先使用该技术,提出了神经网络学习的一种新手段。 径向基神经元模型 径向基神经元模型如图7.1 所示。 输入 神经元 图7.1径向基神经元模型 其输出表达式为 式中：radbas 为径向基函数,一般为高斯函数： 其光滑性好,径向对称,形式简单,有 称之为欧几里得距离。 径向基函数的图形和符号如图7.2 所示。 图7.2 径向基传输函数的传输特性和符号 2. 径向基神经网络模型 径向基神经网络同样是一种前馈反向传播网络,它有两个网络层：隐层为径向基层;输出为一线性层,如图7.3 所示。 输入向量 径向基层 线性层 图7.3 径向基函数网络模型 网络的输出为  式中： 表示取矩阵向量主对角线上的元素组成的列向量; “ ”和“ ”分别表示数量乘方或数量乘积(即矩阵中各对应元素的乘方或乘积)。 下面讨论径向基网络的工作特性。从图7.2 所示的径向基传输函数可以看出,只有在距离为0时,其输出为1;而在距离为0.833 时,输出仅为0.5。假如给定一个输入向量,径向基神经元将根据各输入向量与每个神经元权值的距离输出一个值,那些与神经元权值相差很远(距离大)的输入向量产生的输出值趋于0,这些很小的输出值对线性神经元输出的影响可以忽略;相反,那些与神经元权值相差较小(距离小)的输入向量产生的输出值趋于1,从而激活第二层线性神经元的输出权值。 换句话说：径向基网络只对那些靠近(距离接近于0的中央位置)输入权值向量的输入产生响应。 由于隐层对输入信号的响应,只在函数的中央位置产生较大的输出,即局部响应,所以该网络具有很好的局部逼近能力。 可以从两方面理解径向基网络的工作原理： (1)从函数逼近的观点看：若把网络看成是对未知函数的逼近,则任何函数都可以表示成一组基函数的加权和。在径向基网络中,相当于选择各隐层神经元的传输函数,使之构成一组基函数逼近未知函数。 (2)从模式识别的观点看：总可以将低维空间非线性可分的问题映射到高维空间,使其在高维空间线性可分。在径向基网络中,隐层的神经元数目一般比标准的BP网络的要多,构成高维的隐单元空间,同时,隐层神经元的传输函数为非线性函数,从而完成从输入空间到隐单元空间的非线性变换。只要隐层神经元的数目足够多,就可以使输入模式在隐层的高维输出空间线性可分。 在径向基网络中,输出层为线性层,完成对隐层空间模式的线性分类,即提供从隐单元空间到输出空间的一种线性变换。 7.2 径向基网络的创建与学习过程 从图7.3 所示径向基网络的结构上看,当隐层和输出层神经元的权值与阈值确定后,网络的输出也就确定了。所以径向基网络的学习,仍然是各网络层权值和阈值的修正过程。 因为径向基网络设计函数newrbe和newrb在创建径向基网络的过程中,就以不同的方式完成了权值和阈值的选取和修正,所以径向基网络没有专门的训练和学习函数,下面分别予以说明。 1 . newrbe 创建径向基网络的过程