智能控制基础 第四章.ppt

北京邮电大学信息工程学院 第四章：人工神经网络的基础　 20世纪80年代以来，人工神经网络（Artificial Neural Network）研究取得了突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。 人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能实现并行处理、自学习和非线性映射等能力。 研究神经元网络系统主要有三个方面的内容：神经元模型、神经网络结构、神经网络学习方法。 　 　 其输入、输出关系可描述为 其中， 是从其他神经元传来的输入信号； 表示从神经元j到神经元i的连接权值； 为阈值； 称为激发函数或作用函数。 下图表示了几种常见的激发函数。 1. 阈值型函数（见图（a），（b）） 2. 饱和型函数（见图（c）） 3. 双曲函数（见图（d）） 4. S型函数（见（e）） 5. 高斯函数（见图（f）） 1.3 人工神经网络模型 人工神经网络是以工程技术手段来模拟人脑神 经元网络的结构与特征的系统。利用人工神经 元可以构成各种不同拓扑结构的神经网络，它 是生物神经网络的一种模拟和近似。就神经网 络的主要连接型式而言，目前已有数十种不同 的神经网络模型，其中前馈型网络和反馈型网 络是两种典型的结构模型。 1. 前馈型神经网络 前馈型神经网络，又称前向网络（Feed forward NN）。 如图所示，神经元分层排列，有输入层、隐层（亦称中 间层）和输出层，每一层的神经元只接受前一层神经元 的输入。 从学习的观点来看，前馈网络是一种强有力的学习系 统，其结构简单而易于编程；从系统的观点看，前馈 网络是一静态非线性映射，通过简单非线性处理单元的 复合映射，可获得复杂的非线性处理能力。但从计算的 观点看，缺乏丰富的动力学行为。大部分前馈网络都是 学习网络，它们的分类能力和模式识别能力一般都强于 反馈网络，典型的前馈网络有感知器网络、BP 网络等。 2. 反馈型神经网络 反馈型神经网络（Feedback NN）的结构如图所示。 如果总节点（神经元）数为N，那么每个节点有N个 输入和一个输出，也就是说，所有节点都是一样 的，它们之间都可相互连接。 反馈神经网络是一种反馈动力学系统，它需要工作 一段时间才能达到稳定。Hopfield神经网络是反馈 网络中最简单且应用广泛的模型，它具有联想记忆 的功能，如果将Lyapunov函数定义为寻优函数， Hopfie1d神经网络还可以用来解决快速寻优问题。 1.4 人工神经网络的学习（训练） 学习方法是体现人工神经网络智能特性的主要标 志，离开了学习算法，人工神经网络就失去了自 适应、自组织和自学习的能力。各种学习算法的 研究，在人工神经网络理论与实践发展过程中起 到了重要的作用。当前，人工神经网络的许多研 究课题都致力于学习算法的改进，更新和应用。 1. Hebb学习规则 两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则 Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。 在Hebb学习规则中，学习信号等于神经元的输出 权向量的调整公式为 该式表明：权值调整与输入输出的乘积成正比。为了 防止输入输出正负始终一致出现权值无约束增长，则 需预先设置权饱和值。 例：利用Hebb学习规则训练线性联想器的权矩阵。 假定网络权矩阵初始化为0，然后将m个输入输出对依 据调整公式，取学习率 ，则权矩阵 特别地如果输入向量 为标准正交向量，对于输入 如果输入原型向量 不是正交向量，假设为单位向 量，但不正交 例：假设神经网络的原型输入为： 解： 1、网络的权矩阵设计，两个输入向量为标准正交向量。则网络的权矩阵为 2、线性联想器验证 2．误差修正法学习算法 所谓误差修正学习指的是权值的调整与网络的输出误 差有关，它包括deta学习规则、Widrow-Hoff学习规 则、感知器学习规则和误差反向传播的BP （Back Propagation）学习规则等。这里我们着重介 绍前面几种算法。BP算法在后面在详细介绍。 1）感知器学习规则 感知器是一个具有单层神经元的神经网络，并由线性 阈值元件组成，是最简单的前向网络。它主要用于模 式分类，单层的感知器网络结构如下图所示。 在给定样本的条件下，首先随机设置初始权重值。然 后，加入样本矢量。对于第j个神经元，假设 为其输 入矢量的第i个元素，而 是相应的权重值。如果期