智能控制7.ppt

第四章 人工神经元网络模型 4.1 引言 神经网络的基本概念 4.1.1生物神经元模型 4.1.2 人工神经元模型 4.1.3 人工神经网络模型 4.1.4 神经网络的学习方法 ANN的研究内容 （1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。 （2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。 （3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。 人工神经网络研究的局限性 （1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。 （3）ANN研究带有浓厚的策略和经验色彩。 （4）ANN与传统技术的接口不成熟。 生物神经元：生物神经系统的最基本单元，形状和 大小是多种多样的。 生物神经元的基本模型 人工神经元是对生物神经元的一种模拟与简化，利用物理器件（电子、光电）、软件在计算机上仿真，模拟生物结构功能。 人工神经元之间通过互相连接形成网络，称为人工神经网络（ Neuron Net ---NN）。 人工神经元是神经网络的基本处理单元，它有三个基本要素： 其输入、输出关系可描述为 其中， 是从其他神经元传来的输入信号； 表示从神经元 j 到神经元 I 的连接权值； 为阈值； 称为激发函数或作用函数。 输出激发函数 又称为变换函数，它决定神经元（节点）的输出。该输出为1或0，取决于其输入之和大于或小于内部阈值 。函数 一般具有非线性特性。下图表示了几种常见的激发函数。 1. 阈值型函数（见图（a），（b）） 2. 饱和型函数（见图（c）） 3. 双曲函数（见图（d）） 4. S型函数（见（e）） 5. 高斯函数（见图（f）） 4.1.3 人工神经网络模型 神经网络的模型层次分类 根据人工神经元对生物神经系统的不同组织层次和抽象层次的模拟，分为四种 人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中典型的结构模型有前馈型网络、反馈型网络、相互结合型网络和混合型网络。 1） 前馈型神经网络 前馈型神经网络，又称前向网络（Feed forward NN）。如图所示，神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。各神经元之间不存在反馈。信号一旦通过某个神经元，该神经元的反应过程就结束。 2） 反馈型神经网络 反馈型神经网络（Feedback NN）的结构如图所示。如果总节点（神经元）数为N，那么每个节点有N个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可相互连接。 学习的过程是指针对一组给定输入，使神经网络产生相应的期望输出的过程。 学习方法是体现人工神经网络智能特性的主要标志，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。目前神经网络的学习方法有多种，按有无导师来分类，可分为 有教师学习（Supervised Learning）、 无教师学习（Unsupervised Learning）、 和再励学习（Reinforcement Learning）等几大类。 神经网络中常用的几种最基本的学习方法 1. Hebb学习规则 两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则。 数学表示形式如下： 2．Delta（δ）学习规则 δ规则实现了E中的梯度下降，因此使误差函数达到最小值。但δ学习规则只适用于线性可分函数，无法用于多层网络。BP网络的学习算法称为BP算法，是在δ规则基础上发展起来的，可在多网络上有效地学习。 3．概率式学习 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。同时，此概率还取决于温度参数T。T越大，不同状态出现概率的差异便越小，较容