ANN讲义--02-神经网络基础培训资料.ppt

第二章 人工神经网络基础;神经网络是模拟人脑信息处理的机制与特性，并由大量的处理单元（神经元）互相连接而成的网络。是对生物神经网络进行某种抽象、简化和模拟。 NN的信息处理：由神经元之间的相互作用来实现。 NN的知识与信息的存贮：表现为神经元之间互连分布式的物理联系。 NN的学习和识别：决定于各神经元连接权系数的动态化过程。;2.1 生物神经网络;3、基本特征 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。;2.2 神经元的结构模型 ;人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW; ∑ (θi);2.2.2 激活函数(Activation Function) ;3、阈值函数（Threshold Function）/阶跃函数;β ;4、S形函数 （应用最多）;a+b ;2.2.3 M-P模型 ;2) 数学描述 ： ;4) 输入/输出特性：; ;2、延时M-P模型 ; ④ 所有神经元具有相同的、恒定的工作节律，节律取决于突触时延 。 ⑤不考虑时间整合作用和不应期； ⑥神经元突触的时延 为常数，权系数Wij 也为常数，即：;其中：① 表示神经元内的反馈连接权：;2．3 人工神经网络的拓扑特性;2.3.1 联接模式 ; 1、层内联接/区域联接/侧联接 ——本层内神经元之间的联接。 作用：加强和完成层内神经元之间的竞争：联接权取正值时，组内加强；联接权取负值时，组内减弱（竞争）。 网络示意： ;2、循环联接 ——神经元到自身的联接（自环反馈）;作用：实现层间的信号传递，可以是前馈，也可以是反馈。 网络示意：如上述二图等。;2.3.2 网络的分层结构 ;②前向网络的结构： ; ②反馈网络的结构： ;3）、相互结合型网（网状结构）：包括全互联和部分互联类型。;4）、混合型网络（层内有结相互结合的前向网络）;2、根据网络的层（级）次分类，可分为：单级网络、多级网络、循环网络等。;Wij —— I层第i个神经元到II层第j???神经元的联接强度。 设输出层第j个神经元的网络输入为netj，则：; ②、单级横向反馈网： 在简单单级网的输出层上加上侧联接时，便构成了单级横向反馈网。;（单级横向反馈网络存在收敛或不收敛的可能，即稳定性问题。）;V=（vij） NET=XW+OV O=F（NET） 时间参数——神经元的状态在主时钟的控制下同步变化 考虑X总加在网络上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1)) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定;2)、多级网络 由多个单级网联接而成，以模拟人脑的某些部位的分级结构特征，提高网络的计算能力。;层号的递归方式： 输入层（0层）：只接收来自网络外的信号，不计入网络的层数。 第j层：为第j-1层的直接后继层（j＞0），它直接接受第j-1层的输出。 输出层：网络的最后一层，层号最大，输出网络的计算结果。 隐藏层：除输入层和输出层以外的其他各层。不直接接受外界信号，也不直接向外界发送信号。;3）循环网络 将网络输出信号以某种联接反馈到输入端，便可构成一个多层循环网络，如下图。; 循环网络的重要作用：使网络具有一定的记忆功能。记忆功能的产生，源于信号的“迭代”作用。在迭代过程中，当前的输出受到上次输出的影响，亦即受到前一个输入的影响，也即输入的原始信号被逐步的“加强”，被“修改”。;2.4 存储与映射 ;按照信息存、取的方式，空间模式三种存储方式 ? RAM方式（Random Access Memory） 随机访问方式是将地址映射到数据。 ? CAM方式（Content Addressable Memory） 内容寻址方式是将数据映射到地址。 ? AM方式（Associative Memory） 相联存储方式是将数据映射到数据。 ; 其中： 在学习/训练阶段 神经网络工作在CAM方式。将样本数据以各层神经元之间的连接权矩阵的稳定状态存放起来。权矩阵又被称为网络的长期存储（Long Term Memory，简记为LTM）。;2、神经网络信息的映射;异相联（Het