神经计算：神经网络研究的展望.docVIP

神经计算：神经网络研究的展望 : j 乏吁,名￡ 994N.3现代科技译丛总第87期 神经计算 一 神经网络研究的展望 吴简彤译岳中贵校了P, 【摘要】本文详细叙述了神经网络技术的曲折发展历史.从jO年代开始,神经网络 技术经历了以感知机,Hopfield和误差反向传播神经网络为代表的两次发展高潮. 本文时神经网络技术的发展做了客观的评价.肯定了神经网络是4.分有前途的新理 论和新技术. 0引言 以冯?诺依曼型计算机为中心的信息处理技术的高速发展,使得计算机自身在当今的 信息化社会中起着相当重要的作用.由于计算机的应用越来越广泛,所以有人总是想用计算 机来解决一些现在看来用计算机很难解决的问题.只要观察一下自然界中存在的各种现 象,饲如生物繁殖生长的各种机理,人的大脑的功能等等,就可以发现它们中所存在的巧 妙的信息处理方法.从而明白现今的计算机并不是万能的了.因此当我们想要研究开发非 冯?诺依曼计算机时,必然会对其中之一的神经计算方式拖有极大的希望. 为了能客观地理解神经计算的原理和技术.我们在以下的叙述中首先回顾一下神经网 络的研究发展史,然后讨论其中存在的若干问题.最后给出结论. 1第一次神经网络研究高潮 神经网络的研究历史可以追溯到柏年代,那时的研究可以说是一个基础. 1943午.w.s,Mom110ch和W.Pim发表了他们的神经元模型,简称MP模型.当神经元 兴奋时,输出侧的轴突就会发出脉冲.若把传向其它神经元的脉冲信号即兴奋状态及其传出 的信号看作1,jI|非兴奋状态或无信号状态就可看作0.每个神经元的树状突起与来自其它 神经元的轴突互相结合并接收由轴突传来的信号,并把结合部称为Symo~(突触).如果所 接收到的信号的总和超过了神经元本身的田值,则该神经元就会处于兴奋状态.图I是神 经元的数学模型. 1949年,D,OHebb提出了神经元的学习法则,即Hcbbiannile.当神经元兴奋时,输入 侧的突触结合强度由于受到剌澈而得到增强,给神经阿络带来了所谓的可塑性.这一点 可以认为是用神经网络进行模式识别和记忆的基础.到现在为止,大部分神经网络型机器的 学习法则仍采用Hebb法则或它的改进型. . 1. 一一 y (若一gt;O,若i,-≤o/ 圈lMP的神经元模型 5O年代末期,FR0∞lb】at【基于上述原理提出了一种模式识别机,即感知机】crceptron)~t 型.它由许多个光接收单元组成的输入层,许多个模型神经元组成的联合层和输出神经元构 成(见围2)输入层和联合层之间的结合可以是随机的,而联合层与输出神经元之一般间是全联结. 输入模式输出 SAR 囤2Roseablatt的感知机模型 用教师信号可以对感知机进行训练.在Hebb学习法则中,只有加强突触结合强度这一 功能.而在感知机中,除此之外还引入了当神经元发生错误的兴奋时,能接受教师信号的指 导去减弱突触的结合强度这一功能. 感知机是现代神经计算的出发点.Block于I962年用解析法证明了感知机的学习收敛 定理.正是由于这一定理的存在,才使得感知机的理论具有实际的意义,并引发了6O年代以 感知机为代表的第一次神经网络研究发展高潮.感知机对于线性可分离的模式能进行正确 的分类.但是当输入模式是线性不可分离时,则无论怎样调节突触的结合强度和闽值的大小 也不可能对输入进行正确的分类以后,Rosenblatt又提出了4层式感知机.在它的两个联合 . 2 0 刚 r 《刈 _ 式进行正确的分类.以后,Rosenblao.Y.提出了4层式感知机.在它的两个联合层之间,用提取 相继输入的各模式之同的相关性可得到模式之间的依存性信息.从而使无教师学习成为可能. MMinsky和S.Papert进一步发展了感知机的理论.他们把感知机定义为一种论理函 数的学习机.若联合层的特征检出神经元具有某一种任意的预先给定的论理函数,则通过对 特征检出神经元功能的研究就可以识别输入模式的几何学性质.此外.他们还把感知机看作 井行计算理论中的一个例子.即联合层的每个神经元只对输入的提示模式的某些限定部分 加以计算,然后由输出神经元加以综合并输出最终结果.联合层的各神经元的观察范围越 窄,并行计算的效果就越好.Mimkey等人首先把联合层的各神经元对输入层的观察范围看 作一个直径为有限太的圆.这与高等动物的大脑中的视觉检出神经元在视网膜上只具有一 个有限的视觉范围极为相似.但是,由于在如何规定直径的大小上投有完整的理论指导,所 以只能作出联合层的神经元对输入层上的观察点的个数取一个有限值这样的规定.为了研 究感知机的本质,特别是神经计算的本质究竟是什幺.还对决定论中的一些代表性方法,如 向量法最短距离法,统计论中的最优法,Bayes定理,登山法最急下降法等进行了比较研 究.以寻求它