第6讲神经网络.ppt

小结 以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时确遇到了很大的困难。 大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。 人工神经网络（简称神经网络）也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。 神经网络的研究发展史 第一次神经网络研究高潮 对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其它神经元轴突的互相结合部（此结合部称为Synapse，即突触）接收由轴突传来的信号。如果—神经元所接收到的信号的总和超过了它本身的“阈值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。 1943年，W.S.McCulloch和W.Pitts根据上述研究发表了他们的神经元模型，通常称为MP模型。 1949年，D.O.Hebb提出了神经元的学习法则，即Hebb法则。 50年代末，F. Rosenblatt基于上述原理提出了一种模式识别机，即感知机（Perceptron）模型。感知机是现代神经计算的出发点。Block于1962年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了60年代以感知机为代表的第一次神经网络研究发展的高潮。 M.Minsky和S.Papert进一步发展了感知机的理论，他们把感知机定义为一种逻辑函数的学习机。 B.Widraw在稍后于感知机提出了Adine分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。 1961年，E.R.Caianiello提出了能实现记忆和识别的神经网络模型，它由学习方程式和记忆方程式两部分组成。 遗憾的是感知机只能对线性可分离的模式进行正确的分类。当输入模式是线性不可分离时，则无论怎样调节突触的结合强度和阈值的大小也不可能对输入进行正确的分类。 第二次神经网络研究高潮 1982年，美国物理学家Hopfield对神经网络的动态特性进行了研究，提出了所谓Hopfield神经网络模型。 以Rumelhart为首的PDP(Parallel Distributed Processing)并行分布处理研究集团对联结机制(connections)进行了研究。 T. J. Sejnowski等人还研究了神经网络语音信息处理装置。 这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用。 Hopfield模型的动作原理 只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。 1985年， Hopfield和D. W. Tank用上述模型求解了古典的旅行推销商问题(Traveling Salesman Problem)，简称TSP问题（已知n个城市之间的相互距离,现有一推销员必须遍访n个城市,并且每个城市只能访问一次,最后又必须返回出发城市。如何安排访问次序,才可以使其旅行路线的总长度最短,这是一个典型的组合优化问题,并且是一个NP非确定性难题）。 1983年，S.E.Farmann和Hiton提出了波尔兹曼机BM（Boltzmann Machine），该神经网络模型中使用了概率动作的神经元，把神经元的输出函数与统计力学中的波尔兹曼分布联系起来。 1985年，W.O.Hillis发表了称为联结机（connection）的超级并行计算机。他把65536个1bit的微处理机排列成立方体的互连形式，每个微处理机还带有4bit的存储器。 误差反向传播神经网络BP（Error Back Propagation Neural Network）是1986年由Rumelhart和Hinton提出的， 存在的问题 神经网络识别机的原型是感知机，而BP只是学习方法改进了的感知机，所以把它当作识别机械时，可能存在着中间层神经元的个数会很庞大、学习时间太长、结合系统的范围太宽等严重缺点。 当把Hopfield神经网络模型和波尔兹曼机用作最优解的求解机时，还需要弄清楚该模型对具体的对象是否适用。当神经网络用于运动控制装置时，另一个重要的问题时如何获得自组织的运动模式。 综上所述，神经网络的研究虽然时有起伏，出现了研究的高潮与低潮，但总的方向无疑还是正确的。 神经网络分类器 缺点 长时间训练 需要大量的参数，这些通常主要靠经验确定，如 网络拓扑或结构 解释性差