第章 神经网络控制---.pptVIP

3.2.4 神经网络的训练 训练步骤及有关问题： （1）产生数据样本集 确定输入量个数，要求基本不相关；尺度变换(归1化)和预处理，特征提取；训练模式应是连接权总数的5~10倍；检验，三分之二用于训练，三分之一用于检验；数据分布应均匀，不重复，各类兼有。 （2）确定网络的类型和结构 从已有的网络类型中选择一种；选择网络的结构和参数。 （3）训练和测试 训练和测试应交替进行，防止“过度训练”； 测试（检验）误差极小点对应的次数为恰当训练次数。（见孙p139图3.12) *网络性能的衡量标准：测试误差最小。 *选择结点数的原则：选择尽量少的结点数以实现尽量好的泛化能力。 3.3 反馈神经网络 3.3.1 离散Hopfield网络 Hopfield网：一种动态网络。主要用于联想记忆和优化计算。根据输出量是离散量还是连续量，H网分为离散和连续两种。 网络的结构和工作方式 层内联结——侧联结 网络的结构和工作方式（续） 对每一个结点，其工作方式为： 其中wii=0(无自反馈)；f(?)通常取为二值函数（即符号函数或阶 跃函数）。 网络的状态初值就是输入。 网络有两种工作方式： （1）异步（串行）方式：每次只有一个结点进行状态调整， 其余不变。 网络的结构和工作方式（续） （2）同步（并行）方式：所有结点同时进行状态调整。 （续） 其中W是由wij组成的n*n矩阵，f(s)是向量函数，它表示 f(s)=[f(s1), f(s2),…, f(sn)]T. 该网络是动态的反馈网络，其输入是网络的状态初值 X(0)=[x1(0), x2(0),…, xn(0)]T， 输出是网络的稳定状态 2. 稳定性和吸引子 Hopfield网实质上是一个离散的非线性动力学系统。(稳定，不稳定)。 如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息(或有噪声)的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想记忆的过程。 （1）稳定性 定义3.1 稳定点或吸引子：若状态X满足X=f(WX-θ),则称X为网络的稳定点或吸引子。 定理3.1： 对于离散Hopfield网络，若按异步方式调整状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。（证明:能量函数E(k)有下界,ΔE(k)=0,见孙P142） 能量函数——与状态X有关的标量函数，用于研究网络的稳定性。每种组合状态可看成某一物质体系的状态，物质在该状态下有相应的内能。如势能。 定理3.2： 对于离散Hopfield网络，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，则对于任意初态，网络都最终收敛到一个吸引子。（证明见P143） （非负定指：W决定的二次型 同步工作方式对W的要求比异步高，可见异步工作方式有更好的稳定性能，实用时较多采用异步工作方式。异步的主要缺点是失去了并行处理的优点。 （2）吸引子的性质 海明距离定义为两个向量中不相同的元素的个数。 （3）吸引域 对同步工作方式，无强、弱吸引的概念，吸引域也无强弱之分。 （下接WORD文档） 第3章 神经网络控制 ?几种典型的神经网络模型 前馈(BP)、反馈(Hopfield)型等 ?它们在系统建模及控制中的应用 3.1 概述 3.1.1 神经元模型 生物神经元 轴突末梢 传导信息 接受器 通过突触实现神经元之间的信息传递 3.1.1 神经元模型（续） 人工神经元模型 3.1.1 神经元模型（续） 输入输出关系： 3.1.1 神经元模型（续） 常见的变换函数（转移函数）（见孙p126,图3.3）： （1）比例函数（线性） （2）*符号函数（对称硬极限） （3）饱和函数 （4）*双极性S型函数（双曲正切） （5）阶跃函数（硬极限） （6）*单极性S型（ 对数S形）(Sigmoid， S形函数) 单极性S形函数，μ越大越弯 双极性S形函数（双曲正切） 阶跃函数 3.1.2 人工神经网络 人工神经网络从结构及实现机理和功能两方面对生物神经网络进行模拟 （a)典型的前馈型网络 (b)典型的反馈型网络 3.1.2 人工神经网络(续) ?人工神经网络是一个并行和分布式的信息处理网络结构。 ?人工神经网络Artificial Neural Networks（ANN）是对人类大脑系统的一阶特性的一种描述，是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 ?人工神经网络是一个具有如下特征的有