多层神经网络.pptx

第六章 多层神经网络2021/3/276.1　引 言神经网络定义 一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器。天然具有存储经验知识和使之可用的特性。神经网络与人脑的相似性: a .神经网络获取的知识是从外界环境中学习得来。 b .互连神经元的连接强度,即突触权值,用于存储获取的知识。2021/3/27生物神经元示意图2021/3/27神经元在结构上由细胞体、树突、轴突和突触四部分组成。1. 细胞体 (cell body)神经元的主体,由细胞核、细胞质和细胞膜3 部分组成。细胞体的外部是细胞膜,将膜内外细胞液分开。由于细胞膜对细胞液中的不同离子具有不同的通透性,这使得膜内外存在着离子浓度差,从而出现内负外正的静息电位。这种电位差称为膜电位。2. 树突 (dendrite)从细胞体向外延伸出许多突起的神经纤维。负责接收来自其他神经元的输入信号,相当于细胞体的输入端(input)。3. 轴突 (axon)由细胞体伸出的最长的一条突起称为轴突。轴突比树突长而细。轴突也叫神经纤维,末端处有很多细的分支称为神经末梢,每一条神经末梢可以向四面八方传出信号,相当于细胞体的输出端(output)。4. 突触 (synapse)一个神经元通过其轴突的神经末梢和和另一个神经元的细胞体或树突进行通信连接,称为突触。2021/3/27人工神经网络2021/3/27神经网络的发展2021/3/27基本功能2021/3/27应用领域2021/3/27神经元模型　a. 突触权值　b .加法器—净激活　c. 激活函数偏置激活函数求和结点突触权值输入信号输出2021/3/276.2　前馈运算和分类前馈运算定义:　a.无反馈,可用一有向无环图表示。　b.图的节点分为两类,即输入节点与计算单元。　c.每个计算单元可有任意个输入,但只有一个输出,而输出可耦合到任意多个其他节点的输入。前馈网络通常分为不同的层,第i层的输入只与第i-1层的输出相联。　d.输入和输出节点由于可与外界相连,直接受环境影响,称为可见层,而其他的中间层则称为隐层。如图。2021/3/27每一个二维输入向量都提供给输人层,而每一个输入单元的输出结果则等于输入向量中对应的那个分量。隐单元对它的各个输入进行加权求和运算而形成“净激活（net activation）”简称为net。为简单起见,我们增广输入向量和权向量可将净激活写成如下形式表示输入层下表i是输入层单元的索引值,j是隐含层单元的索引,单元i到隐含层单元j的权值,,类比于神经元,这种权被称为“突触”,连接的值叫“突触权”。每一个隐含层单元激发出一个输出分量,这个分量是它激活的非线性函数,2021/3/27netk0常用的激活函数符号函数:2021/3/27netk－0.50.5 分段线性函数:0 Ｓigmoid 函数:2021/3/27最简单的神经网络-单层感知器单层感知器拓扑结构2021/3/27单层感知器仅对线性问题具有分类能力线性问题:简单来讲,就是用一条直线可分的图形。比如: 1. 逻辑“与” 2. 逻辑“或”我们可以用一条直线来分隔0 和1。2021/3/27逻辑“与” 的真值表及二维样本分类图2021/3/27逻辑“或” 的真值表及二维样本分类图2021/3/27为什么感知器就可以解决线性问题呢?这是由它的传递函数决定的。这里以两个输入分量x1 和x2 组成的二维空间为例,此时节点j 的输出为所以,方程确定的直线就是二维输入样本空间上的一条分界线2021/3/27“异或” 的真值表及二维样本分类图如果要让它来处理非线性的问题,单层感知器网就无能为力了。例如下面的“异或”,就无法用一条直线来分割开来,因此单层感知器网就没办法实现“异或”的功能。2021/3/27解决异或问题的多层感知器 输入层 隐含层 输出层2021/3/276.2.1 一般的前馈运算显然,我们可以把之前的讨论推广为更多的更多的输入单元、其他的非线性函数、任意多个输出单元。在分类方面,我们有c个输出单元,每个类别一个,每个输出单元产生的信号就是判别式函数gk(x). 判别函数如下:6.2.2 多层网络的表达能力戈尔莫戈罗夫证明了:只要选取适当的函数,任何连续函数g(x)都呆以定义在单位超立方体上,即可以表示为:可惜的是,上述构造性的描述确实显示任期望函数都可以通过一个三层网络来执行,但它更多的价值在理论方面,而实用意义不大。2021/3/27虽然一个两层网络分类器只能实现一个线性判决边界,如果给出足够数量的隐单元,三层,四层及更多层网络就可以实现任意的判决边界2021/3/276.3　反向传播算法（BP算法）关键问题:根据训练样本和期望输出来设置合适的权值怎样训练输入层到隐含层的权值?