《人工神经网络II.pptVIP

第六章 人工神经网络(II) 内 容 前向神经网络模型 前向神经网络用途 前向神经网络训练 BP算法 前向神经网络 多层前向网络 一个M层的多层前向网络可描述为： ①网络包含一个输入层（定义为第0层）和M-1个隐层，最后一个隐层称为输出层； ②第 l 层包含 个神经元和一个阈值单元（定义为每层的第0单元），输出层不含阈值单元； 前向神经网络 ③第 层第 个单元到第个单元的权值表为 ； ④第 层（ 0）第 个（ 0）神经元的输入定义为 ，输出定义为 ，其中 为隐单元激励函数，常采用Sigmoid函数，即 。输入单元一般采用线性激励函数 ，阈值单元的输出始终为1； 前向神经网络 前向神经网络用途 弄这么个东西有用么？ 怎么用呢？ 前向神经网络用途 用途非常广泛 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。 前向神经网络用途 Bool 函数 任何bool函数都可以用一个单隐层的网络来表示 但是可能要求指数级的隐层单元个数 连续函数 每一个有界的连续函数都可以有一个两级的网络以任意小的误差（在有限的范数下）逼近 任意函数 任意函数都可以被一个由三级的网络以任意精度逼近 前向神经网络训练 神经网络的训练 给定一组样本，即一组神经网络的输入输出，不断调整网络中的权重使得网络最终能够很好的满足样本所给定的输入输出关系。 最基本的算法: BP算法 其它方法 Hebb学习 概率式学习 竞争学习 前向神经网络训练 本质：优化如下目标函数 其中P为样本数， 为第p个样本的第j个输出分量。是理想输出和实际输出的误差函数 BP算法 BP算法---前向网络的训练算法 BP算法的出现 1974年，Werbos已提出了该方法 1982年，Paker完成了相似的工作 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 BP算法 算法实施过程 根据输入输出状态维数决定网络的输入层和输出层神经元的个数 根据问题特点和经验决定隐层层数和神经元个数 一般选择 M=2 设定网络的初始参数 按照梯度下降法极小化目标函数，逐步调整权重矩阵直到满意为止 梯度下降算法 BP算法 BP算法 特点： 网络权重的调节上用的是梯度下降算法 容易推广到任意有向网络 训练的时候迭代的次数可能很多，慢 训练后使用网络会非常快 问题 收敛性和局部极小值 过拟和的问题:指网络训练精度很高,但推广检验样本精度较差,也称为网络的泛化能力差 算法设计 输入/输出变量的确定及其数据的预处理 网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数，一般根据专业知识确定。 若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。 输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个，也可以是多个。 一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。 算法设计 样本数据收集和整理分组 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。 为训练过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。 此外，数据分组时还应尽可能考虑样本模式间的平衡。 算法设计 由于采用Sigmoid转换函数，为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区，一般要求输入数据的值在0~1之间。因此，要对输入数据进行预处理。 如果输出层节点也采用Sigmoid转换函数，输出变量也必须作相应的预处理，否则，输出变量也可以不做预处理。 预处理的方法有多种多样，各文献采用的公式也不尽相同。预处理