第五章_人工神经网络讲述.ppt

第5章人工神经网络的分析与设计 本章介绍 人工神经网络是模拟生物神经网络的工作机理、模仿人脑某些学习功能的一种计算结构，它也是一种自适应非线性动力学系统模型。 经过近60多年的发展，人工神经网络有了很大的进展并在各个领域显示了巨大应用潜力。 基于各种人工神经网络原理的硬件电路实现是人工神经网络得以应用的非常重要的前提之一。 本章介绍 本章首先介绍传统人工神经网络的基本概念，阐述神经元电路实现的一些方案。 接着，结合细胞神经网络（Cell Neural Network－CNN）分析人工神经网络的混沌特性和CNN的电路仿真实现，根据必威体育精装版人工神经网络发展，以脉冲耦合神经网络（Pulse Coupled Neural Network－PCNN）为例，从等效电路解释和模型基本原理出发，详细介绍PCNN的基本工作原理，分析PCNN的基本混沌特性，再介绍PCNN模型的一种硬件电路实现方案，最后介绍人工神经网络在旅行商问题中的应用。 5.1 人工神经网络概述 5.1.1.人工神经网络概述 （1）人工神经网络的发展 人工神经网络的发展大致经历了三个阶段： 第一阶段，1943年精神病学家和神经解剖学家Warren S McCulloch与数学家Walter H Pitts总结了生物神经元的一些基本生理特性，提出了MP神经元数学模型，1949年D.O.Hebb提出Hebb学习规则，1957年 F.Rosenblatt提出感知器，1960年Bernand Widrow和 Marcian Hoff提出自适应线性元件网络，使得人工神经网络第一次从理论研究转入工程实现阶段，从而掀起了人工神经网络研究的高潮。 5.1 人工神经网络概述 第二阶段，1969年M.Minsky和S.Parpert对感知器的悲观理论使神经网络研究陷入低谷。 他们分析了若干种简单感知器，并总结说明：简单感知器只能完成线性分类，对非线性分类无能为力，加上他们在人工智能领域的威望，他们这种悲观理论对当时人工神经网络的发展来说负面影响很大；而另一方面，当时计算机技术的发展使得传统人工智能理论在基于Von Neumann计算机平台上的发展趋势非常乐观；同时人们对当时人工神经网络的训练没有得到一种普适的学习算法；这样，人工神经网络的发展转入缓慢发展的低潮期。 5.1 人工神经网络概述 第三阶段，1982年生物物理学家J.J.Hopfield提出Hopfield网络模型，并将其成功应用于NP完全性的著名旅行商问题。 1986年David E.和Runmelhart等的并行分布式处理(PDP)研究组完善了多层神经网络感知误差反向传播算法Error Back Propagation(简称BP算法，最早由Werbo于1974年提出)，特别是有效解决了网络权值在学习过程中自动调整的问题，人工神经网络的发展再次掀起研究高潮；1987年6月21日在美国圣地亚哥召开了第一届国际人工神经网络学术会议，宣告国际神经网络协会成立。 5.1 人工神经网络概述 20世纪80年代末期，蔡绍堂(L.O.Chane)等人提出了细胞神经网络(CNN)模型。值得一提的是20世纪90年代初，PCNN应运而生，由于PCNN在图像处理领域的良好表现，又将其称为第三代人工神经网络发展的主要标志。 常见的传统人工神经网络有：Hopfield、Adline、BP、Kohonen等。另外，还有一些特殊人工神经网络模型如：协同神经网络、广义同余神经网络、自组织映射神经网络、细胞神经网络，更有目前正在研究中的脉冲耦合神经网络。 5.1 人工神经网络概述 （2）Hopfield神经网络 Hopfield网络是一个具有自反馈的简单人工神经网络，如下图所示。该网络由John Hopfield在1982年提出而得名。 霍普菲尔德网络的连线示意图 Hopfield网络的每个神经元有多个输入，但只能有两种输出：?1(表示抑制)或+1(表示兴奋)，神经元之间的每个连接均被指派一个特定的连接强度，网络中的每个神经元在某一时刻总是对来自其周围的全部连接进行求和。如果这个总和大于0，则该单元的输出为+1，否则输出为-1。计算多次反复进行，直到所有单元的输出都稳定为止。所有单元的状态并不是同时改变的，而是按随机次序一个接一个地进行的。 5.1 人工神经网络概述 5.1 人工神经网络概述 Hopfield 从理论上证明，如果对Hopfield网络给定一组连接权值和任何输入，该网络将不会无限制地处于漫游状态，也不会进入振荡状态，而是迅速收敛到一个稳定状态。 Hopfield 网络用“赫布规则”调节神经元之间连接权值：如果两个神经元具有相同的输