神经网络设计讲稿.ppt

神经网络设计 教材 ?神经网络设计 作者:?(美国)Martin T.Hagan(美国)Howard B.Demuth(美国)Mark H.Beale 译者:?戴葵 出版社:?机械工业出版社 书号:?7111075854 发行时间:?2002年 内容简介：本课程主要讲述神经网络的基本概念，介绍实用的网络模型、学习规则和训练方法。内容涵盖神经元模型和网络结构、感知机学习规则、有监督的Hebb学习、Widrow—Hoff学习算法、反向传播算法及其变形、联想学习、竞争网络、Grossberg网络、自适应谐振理论和Hopfield网络。 课程注重对数学分析方法和性能优化的讨论，强调神经网络在模式识别、信号处理以及控制系统等实际工程问题中的应用。 绪论 神经网络研究与发展 人脑信息处理机制 人工神经网络的信息处理能力 神经网络理论研究重大成果 神经网络研究现状及反思 组成脑神经网络的生物神经元具有如下特点 两态工作即工作于兴奋和抑制两种状态 阈值作用超过某一阈值，则神经元兴奋 多输入单输出神经元细胞体由树突获得来自其他神经元的众多输入，将单输出由轴突向外输送 可塑性连接突触部分的连接强度可以调节 从信息系统研究的观点出发，对于人脑这个智能信息处理系统，有如下一些固有特征： (1)并行分布处理的工作模式。 实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。 但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需400 ms，而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。 (2)神经系统的可塑性和自组织性。 神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在9岁左右，学习语言的能力十分强，说明在幼年时期大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下．接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。 (3)信息处理与信息存贮合二为一。 大脑中的信息处理与信息存贮是有机结合在一起的，而不像现代计算机那样存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。 (4)信息处理的系统性 大脑是一个复杂的大规模信息处理系统，单个的元件“神经元”不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。 (5)能接受和处理模糊的、模拟的、随机的信息。 (6)求满意解而不是精确解。 人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。 (7)系统的恰当退化和冗余备份(鲁棒性和容错性)。 人工神经网络研究与应用的主要内容 人工种经网络的研究方兴末艾，很难准确地预测其发展方向。但就目前来看，人工神经网络的研究首先须解决全局稳定性、结构稳定性、可编程性等问题。现今的研究工作应包含以下的一些基本内容： (1)人工神经网络模型的研究。 神经网络原型研究，即大脑神经网络的生理结构、思维机制。 神经元的生物特性如时空特性、不应期、电化学性质等的人工模拟 易于实现的神经网络计算模型。 利用物理学的方法进行单元间相互作用理论的研究 如：联想记忆模型。 神经网络的学习算法与学习系统。 (