第九章人工神经网络.ppt

人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。本章将简要介绍神经网络基本的概念、模型以及学习算法。 9.1.1 生物神经元的结构与功能特性 1. 生物神经元的结构 神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元主要由三部分构成： （1）细胞体;（2）轴突;（3）树突; (如图9.1) 9.1.2 人工神经网络的组成与结构 1. 人工神经网络的组成 人工神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。 人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。 2. 人工神经元的工作过程 对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi, i=0,1,…,n-1,处理单元的内部阈值为θ。那么本处理单元（神经元）的输入为 (a)阈值型 (b)分段线性型 (c) Sigmoid函数型 (d)双曲正切型 图 常用的激发函数 阈值型函数又称阶跃函数，它表示激活值σ和其输出f(σ )之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元，也就是我们前面提到的M-P模型。 线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。 S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为激发函数的神经元也具有饱和特性。 双曲正切型函数实际只是一种特殊的S型函数，其饱和值是－1和1。 3.人工神经网络的结构 人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。常见的连接模型有: 前向网络。 从输入层到输出层有反馈的网络。 层内有互联的网络。 互联网络。 4. 人工神经网络的分类及其主要特征 分类 按性能分：连续型和离散型网络，或确定型和随机型网络。 按拓扑结构分：有反馈网络和无反馈网络。 按学习方法分：有教师的学习网络和无教师的学习网络。 按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。 人工神经网络具有以下主要特征： （1）能较好的模拟人的形象思维。 （2）具有大规模并行协同处理能力。 （3）具有较强的学习能力。 （4）具有较强的容错能力和联想能力。 （5）是一个大规模自组织、自适应的非线性动力系统。 9.1.3 人工神经网络研究的兴起与发展 人工神经网络的研究经历了不少的曲折，大体上可分为四个阶段: 产生时期(20世纪50年代中期之前) 高潮时期(20世纪50年代中期到20世纪60年代末期) 低潮时期(20世纪60年代末到20世纪80年代初期) 蓬勃发展时期(20世纪80年代以后) 9.2.1 感知器模型 感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。 Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。 教材中图9.5所示的即为一个单层感知器模型。 9.2.2 单层感知器模型的学习算法 算法思想：首先把连接权和阈值初始化为较小的非零随机数，然后把有n个连接权值的输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。 为简单起见，仅考虑只有一个输出的简单情况。设xi(t)是时刻t感知器的输入（i=1,2,......,n），ωi(t)是相应的连接权值，y(t)是实际的输出，d(t)是所期望的输出，且感知器的输出或者为1，或者为0，则单层感知器的学习算法请参见教材P325 9.2.3 线性不可分问题 单层感知器不能表达的问题被称为线性