第三章 人工神经网络2人工神经网络基础.ppt

第二章 人工神经网络基础 主要内容： BN与AN； 拓扑结构； 存储； 训练 重点：AN；拓扑结构；训练 难点：训练 第二章 人工神经网络基础 2.1 生物神经网 2.2 人工神经元 2.3 人工神经网络的拓扑特性 2.4 存储与映射 2.5 人工神经网络的训练 2.1 生物神经网 神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 2.1 生物神经网 1、构成 突触的信息处理 生物神经元传递信息的过程为多输入、单输出 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位 2.1 生物神经网 3、六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。 2.2 人工神经网络 直观理解 神经网络是一个并行和分布式的信息处理网络结构 它一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多其他的神经元 每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数 2.2 人工神经元 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应该具有生物神经元的六个基本特性。 2.2.1 人工神经元的基本构成 人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW 2.2.2 激活函数(Activation Function) 激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f(net) 1、线性函数（Liner Function） f（net）=k*net+c 2、非线性斜面函数(Ramp Function) γ if net≥θ f（net）= k*net if |net|θ -γ if net≤-θ ? γ0为一常数，被称为饱和值，为该神经元的最大输出。 2、非线性斜面函数(RampFunction) γ 3、阈值函数（Threshold Function）阶跃函数 β if netθ f（net）= -γ if net≤ θ β、γ、θ均为非负实数，θ为阈值 二值形式： 1 if netθ f（net）= 0 if net≤ θ 双极形式： 1 if netθ f（net）= -1 if net≤ θ 3、阈值函数（Threshold Function）阶跃函数 β 4、S形函数 压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。 f（net）=a+b/(1+exp(-d*net)) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f（net）= 1/(1+exp(-d*net)) 函数的饱和值为0和1。 S形函数有较好的增益控制 4、S形函数 2.2.3 M-P模型 2.3 人工神经网络的拓扑特性 连接的拓扑表示 2.3.1 联接模式 用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度； 用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。 层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式： 2.3.1 联接模式 1、 层（级）内联接 层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。 用来加强和完成层内神经元之间的竞争 2、 循环联接 反馈信号。 2.3.1 联接模式 3、层（级）间联接 层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递 前馈信号 反馈信号 2.3.2 网络的分层结构 单级网 简单单级网 简单单级网 简单单级网 W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+…+xnwnj 其中, 1≤ j ≤ m。取 NET=（