神经网络读书笔记-李肖.doc

神经网络读书笔记 姓 名： 李 肖 学 号： D201177498 神经网络读书笔记 摘要 首先从书本上了解了神经网络的起源，然后重点学习了几种经典的神经网络，并比较了各种神经网络模型的优缺点。再查阅文献，重点看了BP、Hopfield和RBF神经网络神经网络应用方面的文献。最后总结了下神经网络的发展前景。 人工神经网络的起源 　人类关于认知的探索由来已久。早在公元前400年左右，希腊哲学家柏拉图(Plato) 和亚里士多德(Asidtole) 等，就曾对人类认知的性质和起源进行过思考，并发表了有关记忆和思维的论述。在此及以后很长的一段时间内，由于科学技术发展水平所限，人们对人脑的认识主要停留在观察和猜测的基础之上，缺乏有关人脑内部结构及工作原理的了解，因而进展缓慢。直到20 世纪40 年代，随着神经解剖学、神经生理学以及神经元的电生理过程等的研究取得突破性进展，人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识，在此基本认识的基础上，综合数学、物理学以及信息处理等学科的方法对人脑神经网络进行抽象，并建立简化的模型，称为人工神经网络。随后人工神经网络因为不能解决“异惑”问题经历了很长时间的低潮，直到1982年，Hopfield 模型的理论的提出，才重新掀起神经网络的热潮。 几种经典的神经网络 人工神经网络具有自组织、自学习、联想存储的功能和高速寻找优化解的能力，在模式识别、信号处理、自动控制、人工智能、自适应的人机接口、优化计算、通信等领域有广泛的应用。一般神经网络书记会介绍以下五种经典的网络。 感知器网络 感知器是由美国计算机科学家罗森布拉特于1957年提出的。感知器可谓是最早的人工神经网络，单层感知器是一个具有一层神经元、采用阀值激活函数的前向网络。通过对网络权值的训练，可以使感知器对一组输入矢量的响应达到元素为0或1的目标输出。 线性神经网络 自适应线性元件也是早期神经网络模型之一，它是由威德罗和霍夫首先提出的。它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。另外，它采用的是W-H学习规则，从而能够得到比感知器更快的收敛速度和更高的精度。 BP网络 反向传播网络是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络。由于多层前向网络采用反向传播学习算法（Back Propagation），通常人们将其称为BP网络。 反馈网络 反馈网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈网络能够表现出非线性动力学系统的动态特性。 自组织竞争人工神经网络 在实际的神经网络中，比如人的视网膜中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制使神经细胞之间出现竞争，虽然开始阶段各个神经细胞都处于程度不同的兴奋状态，由于侧抑制作用战胜了它周围所有其他细胞的抑制作用而“赢”了，其周围的其他神经细胞则全“输”了。 自组织竞争人工神经网络正是基于上述生物结构和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。与BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核心-----竞争层，又是许多种某种其他神经网络模型的重要组成部分，例如科荷伦网络、反传网络以及自适应共振理论网络等中均包含竞争层。 为了更好的满足人工神经网络在众多领域和部门中的应用，近年来几种，包括小波神经网络、模糊神经网络、进化神经网络、细胞神经网络、混沌神经网络应用而生。[1]下面是比较成熟的几种网络的特点，局限性和典型应用领域的比较。 BP神经网络的最近研究情况 BP神经网络是前馈神经网络中应用最广泛的网络之一。理论上，当BP 神经网络隐层节点足够多时，可以逼近任意复杂系统的动力学行为。然而，由于神经网络规模巨大以及数据饱和等原因，使网络难以收敛到全局最小点，或收敛速度异常缓慢，为实际应用带来许多具体的难以克服的困难。人们提出了很多改进的学习算法，并极大地改善了收敛速度。[2-4] 但是，对于复杂的问题， BP 神经网络规模巨大以及收敛速度缓慢的问题到目前为止依然没有得到有效解决。 实质上，导致BP 神经网络收敛缓慢的原因不仅仅是由于BP 神经网络所采用的梯度学习算法，而且也与BP 神经网络全连接对称的网络结构有关。[5]全连接对称结构的BP 神经网络应用梯度下降法进行权值修正时，网络中的每个隐节点都各自为政，并力图使