神经网络模型课件.ppt

神经网络概述 人工神经网络ANN（artificial neural network)是20世纪80年代才日益受到人们重视的一种新的人工智能计算方法。由于它模拟了人脑的思维模式，即具有一定的智能，且的确能解决许多用传统方法不能或难于解决的复杂问题，使之更加精确化，如更精确的分类、非线性规划的求解、著名的“旅行员推销问题”的解决等（注：在近年来的实际应用，尤其在大学生数学建模竞赛中许多获奖队在解决问题是均是以运用神经网络方法作为成功的法宝，如2000年A题中国科技大学5个队获全国一等奖，运用的均是神经网络方法）。 神经网络概述 人的大脑约由 个神经细胞(也称神经元）组成，细胞之间通过树突和轴突互相连接，构成纵横交错的网络结构。神经细胞通过突触互相交换信息，树突用来接受神经冲动，轴突分化出的神经末梢则可传出神经冲动。由于输出端只有两个状态：兴奋态与抑制态。因此，一个神经元就是一个简单的系统，或者说是一个逻辑元件。下图表示它的数学模型，这里 是输入， 是输出， 是神经元内部状态。特别要说明的是，每个神经元都有一个特殊的参数 神经网络概述 称为阈值，它是输出的一个临界值，直接影响神经元的内部状态。 神经网络概述 人们的记忆和智能并不是储存在单个脑细胞中，而是储存在脑细胞之间互相连接的网络之中，这称为分布式存储方式。这样一种“分布方式”并不因单个脑细胞的死亡而消失。人们通过学习可以不断地改变脑细胞之间的连接方式，使这个网络的功能不断提高。模仿神经细胞的结构，人们设计了种种人工神经网络，如感知器、BP网络、自组织网络等。 神经网络概述 人工神经网络的基本工作原理是：对于每个神经元，假设它有 个输入，输入值为 那么，它的输出值就是 ，这里， 是等待确定的权重系数，简称权值。 是一个函数，它有几种典型选法。一种常用的函数是Sigmoid函数。 神经元网络工作的全部秘密就在于它的权重值， 神经网络概述 选择不同的权重值，神经元网络就会有不同的输入-输出关系。 神经元网络的具体工作原理：我们将样本数据的输入值输进神经元网络，就得到一组输出值。这组输出值当然不是我们的理想输出值。于是，我们就根据实际输出与理想输出的差来修正权值，以缩小这种差别。这样反复训练多次，最后，使实际输出与理想输出趋于一致。这样，神经元网络就可以用来代替我们所需要的模型了。 BP神经网络模型与学习算法 BP神经网络概述 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 BP神经网络模型 三层BP网络 BP神经网络模型 激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出 BP神经网络模型 输出的导数 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP网络的标准学习算法-算法思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 BP网络的标准学习算法 网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; BP网络的标准学习算法 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： BP网络的标准学习算法 第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出 BP网络的标准学习算法 第三步，计算隐含层各神经元的输