神经网络模型及其训练神经网络训练1.MLP网络的训练算法推导-Read.ppt

第五章 神经网络信号处理 郑宝玉 主要内容 神经网络模型及其训练 自适应主分量分析 模糊自适应信号处理 其它非线性滤波 神经网络模型及其训练 引言 神经网络模型 神经网络模型及其训练 神经网络模型 神经网络模型及其训练 神经网络模型 1. 多层感知器 神经网络模型及其训练 神经网络模型 神经网络模型及其训练 神经网络模型 神经网络模型及其训练 神经网络模型 神经网络模型及其训练 神经网络模型 神经网络模型及其训练 神经网络模型 神经网络模型及其训练 神经网络模型 神经网络模型及其训练 神经网络模型 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 神经网络模型及其训练 神经网络训练 * 神经网络训练 静态神经网络 动态神经网络 训练规则 训练方法 静态神经网络 1. 多层感知器(MLP: Multilayer Perceptron) －多层感知器是信号处理中应用最多的神经网络结构， 如图1所示。 －多层感知器是一种前饋神经网络, 由输入层、输出层和 若干中间层(常称为隐层,hidden-layer )组成 － 多层感知器的每一层包括若干个节点 (node) 或神经元 (neuron), 如图2；神经元是人工神经网络的基本单元. ∑ 图1 图2 神经元:如图;第l 层中第j个神经元的如下输入-输出关系: 其中 式中 : 前一层(第l-1层)第i个神经元的输出信号 : 第l-1层中第i个神经元到第l层中第j个神经元的连接权值 :加到第l层中第j个神经元的偏置(bias)即阀值 :第l层神经元的数目(N0表示输入层的神经元数目) L、L+1: 分别为MLP的级数和层数 : xj(n)是输入向量(模式)x(n)的第j个元素 :oj(n)是输出向量(模式)o(n)的第j个元素 1. 多层感知器 ? 激活函数 其变化范围为 ; 其导数为 - S型函数: - 正切双曲函数: 其导数为 2. 径向基函数网络(RBFN:Radial basis function nets) ? RBFN的结构: 它是另一种形式的前馈网络, 如图3。 ? RBFN与MLP的主要差别 - RBF网络是单隐层的网络,而 MLP可以有一个或多个隐层 - RBFN是一个局部逼近器，而MLP是一个全局逼近器。 - RBF网络比单层感知器网络具有更强的功能; 当中心向量 xi确定后, RBF网络只需对输出层进行修正(更新),因此比 MLP网络具有更快的敛速, 是一种非常有效的前饋网络。 2. 径向基函数网络 ? RBFN与MLP的主要差别(续) - 表征RBF网络隐单元的核(基函数)一般定义为高斯函数: 式中x 是输入向量, xi 是第i 单元的中心。由M个隐单元RBF 网络实现的输入输出映射定义为 而表征MLP网络隐单元的核定义为logistic函数: ∑ ∑ ● ● ● 图3 3. 自组织特征映射网络 (SOFM:Self-organization Feature map) ? 竞争过程(competitive process) ? 协作过程(cooperative process) ? 自适应过程(adaptive process), 它包括两个阶段: - 自组织或排序阶段(dering phase) - 收敛阶段(convergence phase) 基本结构 图4表示用作离散映射的二维神经元格型结构的SOFM网 络,其中每个神经元全连接到输入层的所有源节点;它是一 个行-列排列的神经元组成的单层前饋网络,包括如下过程: 基本过程 图4 动态神经网络 1. 基于MLP和RBF的时延神经网络(TD