数学建模神经网络算法.pptxVIP

数学建模经典算法;学习目标;内容安排;1. 人工神经网络简介;;;2. 人工神经网络的基本功能;;;2. 人工神经网络的基本功能（续）;;2. 人工神经网络的基本功能（续）;;2. 人工神经网络的基本功能（续）;;2. 人工神经网络的基本功能（续）;;神经网络的发展历程经过了4个阶段。 （1） 启蒙期（1890-1969年） 1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。 1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。 1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。 1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。 1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即δ学习规则），并用电路进行了硬件设计。;3. 神经网络的发展历史（续）;3. 神经网络的发展历史（续）;3. 神经网络的发展历史（续）; 神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。;;4.1 生物神经元的信息处理机理;;4.1 生物神经元的信息处理机理（续）;4.1 生物神经元的信息处理机理（续）;4.2 神经元的人工模型; 神经元的建模;假设1：多输入单输出;假设2：输入类型——兴奋性和抑制性;假设3：空间整合特性和阈值特性;神经元的输出;神经元模型示意图;4.2.1 人工神经元的数学模型;4.2.1 人工神经元的数学模型;;(4.3);4.2.1 人工神经元的数学模型（续）;(4.5);人工神经元的转移函数;(1)阈值型转移函数;(2)非线性转移函数;;(3)分段线性转移函数;(4)概率型转移函数;4.2.2 神经网络模型;人工神经网络模型分类;（一）网络拓扑结构类型 ;层次型网络模型;层次型模型;层次型模型;层次型模型;互联型网络结构 ;互联型网络结构;说明：神经网络的分层结构;简单单级网;简单单级网;单级横向反馈网;单级横向反馈网 ;多级网;层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小???，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息;第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号;约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。;多级网——h层网络;多级网;循环网;循环网 ;（二）网络信息流向类型;（二）网络信息流向类型;;;（二）网络信息流向类型;;4.2.3 神经网络学习;4.2.3 神经网络学习：分类;;;学习的过程（权值调整的一般情况 ）;4.2.3 神经网络学习;5. M-P模型;6. 前馈神经网络;6.1 单层感知器;感知器模型;j=1,2,…,m ;净输入：;;（1）输入是二维;感知器的功能（二维）;感知器的功能;(2)设输入向量X=(x1,x2,x3)T;（2）输入是三维;感知器的功能;(3) 设输入向量X=(x1，x2,…，xn)T;一个最简单的单计算节点感知器具有分类功能。 其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。;例一 用感知器实现逻辑“与”功能;例一 用感知器实现逻辑“与”功能;例二 用感知器实现逻辑“或”功能;例二 用感知器实现逻辑“或”功能;思考并回答;问题：能否用感知器实现“异或”功能？;感知器的学习;感知器的学习算法;感知器学习规则的训练步骤：;感知器学习规则的训练步骤：;感知器的学习规则的训练步骤;例三 单计算节点感知器，3个输入。给定3对训练样本对如下：;解：第一步 输入X1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 ;第二步 输入X2，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6