第5章神经网络理论基础祥解.ppt

神经网络理论基础 以冯·诺依曼型计算机为中心的信息处理技术的高速发展，计算机在信息化社会中起着十分重要的作用。 但是，当用它来解决某些人工智能问题时却遇到了很大的困难。 模糊控制从人的经验出发，解决了智能控制中人类语言描述和推理问题，但在处理数值数据、自学习能力等方面远未达到人脑境界 从人脑生理、心理学着手，模拟人脑工作机理 大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。 人工神经网络是模拟人脑思维方式的数学模型，从微观结构和功能上对人脑进行抽象和简化，模拟人类智能 人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。 6.1 神经网络发展史 1． 启蒙期（1890-1969） 对大脑神经元研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为Synapse，即突触)接收由轴突传来的信号。如果—神经元所接收到的信号的总和超过了它本身的“阈值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。 1890年，W.James发表《心理学》， 讨论脑结构和功能 1943年，W.S.McCulloch和W.Pitts提出了描述脑神经细胞动作的数学模型，即MP模型。 1949年，D.O.Hebb提出了神经元的学习法则，即Hebb法则。 50年代末，E.Rosenblatt提出了描述信息在人脑中存储和记忆的数学模型，即感知机(Perceptron)模型。 感知机是现代神经计算的出发点。Block于1962年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了60年代以感知机为代表的第一次神经网络研究发展的高潮。 1961年，E．R．Caianiello提出了能实现记忆和识别的神经网络模型，它由学习方程式和记忆方程式两部分组成。 1962年，M．Minsky和S.Papert进一步发展了感知机的理论，他们把感知机定义为一种逻辑函数的学习机。 B．Widraw在稍后于感知机一些时候提出了Adline分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。 1965年M. Minsky和S. Papert在《感知机》一书中指出感知机的缺陷并表示出对这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期，这是神经网络发展史上的第一个转折 2.低潮期（1969-1982年） 神经网络理论研究水平的限制 计算机发展的冲击 1969年，Grossberg提出迄今为止最复杂的ART神经网络 1972年，Kohonen提出自组织映射的SOM模型 到了20世纪80年代初，J.J. Hopfield的工作和D. Rumelhart等人的PDP报告显示出神经网络的巨大潜力，使得该领域的研究从停滞期进入了繁荣期，这是神经网络发展史上的第二个转折。 3. 复兴期 1982年，美国物理学家Hopfield对神经网络的动态特性进行了研究，提出了Hopfield神经网络模型，引入能量函数，实现问题优化求解 1986年，以Rumelhart为首的PDP(Parallel Distributed Processing)并行分布处理研究集团对联结机制(connectionist)进行了研究，提出了著名的多层神经网络模型，即BP网络，至今为止应用最普遍。 T．J．Sejnowski等人还研究了神经网络语音信息处理装置。 这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用。 Hopfield模型的动作原理是： 只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。 1985年，Hopfield和D．W．Tank用上述模型求解了古典的旅行推销商问题(Traveling Salesman Problem)，简称TSP问题。 1983年，S．E．Farmann和Hiton提出了波尔兹曼机BM(Boltzmann Machine)，