《1神经网络讲义第1章.ppt

人工神经网络 Artificial Neural Networks 樊炳辉 信息与电气工程学院 联系电话Email：fbh@sdust.edu.cn 办公地点：机器人研究中心（J11-236） 课程目的和基本要求 ●作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。 ●介绍人工神经网络及其基本网络模型，使学生: 了解智能系统描述的基本模型 掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题解决方法。 掌握软件实现方法。 课程目的和基本要求 ●了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法和思路。 ●通过实验进一步体会有关模型的用法和性能，获取一些初步的经验。 ●查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的。 第1章??? 绪论 ☆ 1.1 从生物神经网络到人工神经网络 ☆ 1.2 人工神经网络的发展史 ☆ 1.3 人工神经网络的应用 ☆ 1.4 生物神经元 ☆ 1.5 人工神经元模型 ☆ 1.6 神经网络的结构 ☆ 1.7 神经网络的特点 ☆ 1.8 神经网络的学习方式 1.1 从生物神经网络到人工神经网络 在你学习本课时，你就用到了一个复杂的生物神经网络，大约有1014个相互连接的神经元帮助你进行阅读、呼吸、思考、完成各种动作等。 部分神经网络的结构和功能是与生具有的，比如支配呼吸、哭、吮吸等本能动作的功能;而大多数的功能需要通过后天的学习才能获得。 虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些“人工神经元”，进而将它们以某种方式连接起来，可以模拟“人脑”的某些功能。这就是本课所要讨论的“人工神经网络”。 1.2 人工神经网络的发展史 人工神经网络(artificial neural network , ANN)的发展经历了大约半个世纪，从20 世纪40 年代初到80 年代，神经网络的研究经历了低潮与高潮几起几落的发展过程。 早在1943年，心理学家沃伦和数学家沃尔特合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（McCulloch-Pitts , MP模型），标志着神经网络研究的开始。 1.2 人工神经网络的发展史 1958年，弗兰克首次引进了模拟人脑感知和学习能力的感知器（perceptron ）概念，引起了人们的极大兴趣。感知器由简单的阈值性神经元构成，初步具备了诸如学习、并行处理、分布存储等神经网络的一些基本特征，从而确立了从系统角度进行人工神经网络研究的基础。 1.2 人工神经网络的发展史 1960年，威德罗和霍夫 提出了主要适用于自适应系统的自适应线性元件网络（ADAptive LINear NEuron,ADALINE），采用了比感知器更复杂的学习程序。Widrow -Hoff 技术被称为最小均方误差（least mean square,LMS）学习规则。从此神经网络的发展进入了第一个高潮期。 1.2 人工神经网络的发展史 1969年，美国麻省理工学院著名的人工智能专家马文和西摩出版了颇有影响的PercePtron一书，从数学上剖析了简单神经网络的功能和局限性，并且指出多层感知器还不能找到有效的计算方法，由于马文和西摩在学术界的地位和影响，其悲观的结论，被大多数人不做进一步分析而接受，使神经网络的研究在其后的若于年内处于低潮。 1.2 人工神经网络的发展史 1972年，科霍南和安德森不约而同地提出具有联想记忆功能的新神经网络; 1976年，格罗斯伯格与卡彭特提出了自适应共振理论（adaptive resonance theory . ART)，并在以后的若干年内发展了ART1 , ART2 , ART3 这3 种神经网络模型，从而为神经网络研究的发展奠定了理论基础 。 1.2 人工神经网络的发展史 进入20世纪80年代，特别是80年代末期，对神经网络的研究从复兴很快转入了新的热潮。这主要是因为：一方面经过十几年迅速发展的以逻辑符号处理为主的人工智能理论和冯· 诺依曼（von Neumann ）计算机在处理诸如视觉、听觉、形象思维、联想记忆等智能信息处理问题上受到了挫折;另一方面，并行分布处理的神经网络本身的研究成果，使人们看到了新的希望。 1.2 人工神经网络的发展史 1982年美国加州工学院的物理学家霍普菲尔德提出了HNN ( Hoppfield neural network ）模型，并首次引入了网络能量