问题之一神经元模型-searchreadpudncom分解.ppt

问题之一: 神经元模型 神经元 神经元 神经元建模 神经元是神经网络中基本的信息处理单元，他由下列部分组成: 一组突触和联结，联结具有权值 W1, W2, …, Wm 通过加法器功能，将计算输入的权值之和 激励函数限制神经元输出的幅度 神经元 神经元偏置 Bias b has the effect of applying an affine transformation to u v = u + b v is the induced field of the neuron 问题之二: 学习规则 加拿大心理学家Donald Hebb出版了《行为的组织》一书，指出学习导致突触的联系强度和传递效能的提高，即为“赫布律”。 在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。 感知机 Rosenblatt, 50’s and 60’s 感知机 感知机 问题之二: 学习规则 神经冲动到达突触的时间是相当离 散的 空间分布的复杂性 突触的可塑性是统计的结果 问题之三: 同步问题 神经系统如何协调工作? 大脑在工作过程中百万分之一到百万分之五伏特、每秒8～12周的弱电波。这就是脑电波。根据波长命名为α波、β波等。 问题之四: 神经网络结构 神经网络结构的生物依据是什么？ 单层前向 多层前向 回归网络 Recurrent Network with hidden neuron(s): unit delay operator z-1 implies dynamic system 回归网络 问题之五: 神经网络集成 1996年，Sollich和Krogh 将神经网络集成定义为：“神经网络集成是用有限个神经网络对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定”。 问题之六:神经元整体 目前人工神经网络的研究不具有从信息处理的整体结构进行系统分析的能力, 因此, 很难反映出人脑认知的结构。 由于忽视对于整体结构和全局结构的研究, 神经网络对于复杂模型组织结构的层次化和功能模块化组织机理还处于十分无知的情况。 问题之六: 功能柱 20世纪60年代末，美国科学家发现，在大脑视觉皮层中，具有相同图像特征选择性和相同感受野位置的众多神经细胞，以垂直于大脑表面的方式排列成柱状结构———功能柱。30多年来，脑研究领域一直将垂直的柱状结构看作大脑功能组织的一个基本原则。但是，传统的功能柱研究还不能阐释视觉系统究竟是如何处理大范围复杂图像信息的。 问题之六: 功能柱 中科院上海生命科学研究院神经科学研究所李朝义实验室通过对猫的视皮层的研究，发现在初级视皮层中存在一种与处理大范围复杂图形特征有关的功能结构。与目前所有已知结构不同，它不是柱状的，而是形成许许多多直径约300微米的小球，分散地镶嵌在已知的垂直功能柱中。这是在简单特征功能柱基础上所形成的第二级功能筑构，处理各种更复杂的图像信息。视觉系统可能正是通过这种神经机制，以有限的信息量把目标物从复杂的背景图像中分离出来。 问题之六: 神经场 如何进行功能柱建模？ 神经场研究的出发点是信息处理系统的整体结构, 一般的系统表示为非欧氏空间( 在一定拓扑结构下形成流形 )。 研究的一个关键就是建立环境结构流形与神经流形的耦合关系, 用流形的思想、 拓扑的概念和统计推理来研究整体结构所具有的性质, 利用整体不变性质, 处理和分析表示结构与神经流形的优化逼近过程。 问题之七: 神经场 问题之七: 神经场 神经场理论框架, 体现整体信息处理的结构在两方面: 一方面, 表示结构的编码和模型结构通过拓扑结构进行表示, 具有层次化、 模块化的组织, 形成树型链结构,模型结构具有扩展成无限模型的性质和分维组织机理, 分解成层次化的结构。 我们试图用代数拓扑的方法来描述这种结构, 体现整体不变性质, 神经网络具有对于结构进行模型化的机理, 对于系统结构的逼近。 另一方面, 复杂的模型由简单的模型集成, 简单的模型嵌入更复杂的结构中, 信息几何研究局部和整体不变度量的关系,研究全局不变量, 即研究学习的全局优化过程。 问题之八: 脑功能区之间的耦合 对于以细胞、分子事件为基础的局部神经网络如何组装起来构成庞大的复杂的脑来实现高级功能，既缺少有成效的研究手段，在理论上也只有很模糊的想法。 展望 我们