专题二：神经网络.ppt

人工神经网络建模专题 什么是神经网络模型？ 定义一：神经网络，有时也称作多层感知器（MLPs），本质上是人脑处理信息方式的简化模型。它通过模拟大量相互连接的简单处理单元工作，这些处理单元好像神经元的抽象化版本。 定义二：神经网络是指用大量的简单计算单元（即神经元）构成的非线性系统，它在一定程度上模仿了人脑神经系统的信息处理、存储及检索功能。 定义三：一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器。天然具有存储知识和使之可用的特性。神经网络在两个方面与人脑相似： 1.神经网络获得的知识是从外界环境中学习得到的。 2.互连神经元的连接强度，即突触权值，用于储存获取的知识。 多层感知器 如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络，这里称为多层感知器。  这里需指出的是：多层感知器只允许调节一层的连接权。这是因为按感知器的概念，无法给出一个有效的多层感知器学习算法。 上述三层感知器中，有两层连接权，输入层与隐层单元间的权值是随机设置的固定值，不被调节；输出层与隐层间的连接权是可调节的。 1.2激活（传递）函数的取法 1.3、网络结构以及工作方式 从连接方式看NN主要有两种网络拓扑结构： 前馈型网络：结点分为输入单元和计算单元 反馈型网络：所有结点都是计算单元 NN的工作过程主要分为两个阶段： 第一阶段：学习期，此时个计算单元状态不变，各连线上的权值可通过学习来修改 第二阶段：工作期，此时各连接权值固定，计算各单元状态变化 网络结构：前馈型神经网络 多层神经元网络 中间层的输出就是下一层的输入。第二层可看作有S1个输入，S2个神经元和S1xS2 阶权重矩阵W2 的单层网络。第二层的输入是a1，输出是a2，现在我们已经确定了第二层的所有向量和矩阵，我们就能把它看成一个单层网络了。其他层也可以照此步骤处理。多层网络的功能非常强大。例、一个两层的网络，第一层的转移函数是曲线函数，第二层的转移函数是线性函数，通过训练，它能够很好的模拟任何有有限断点的函数。这种两层网络集中应用于“反向传播网络”。注意:我们把第三层的输出a3标记为y。我们将使用这种符号来定义这种网络的输出。 神经网络模型节点 神经网络模型的学习过程(A) 模型的特点1、有指导的学习2、前馈网络3、反向传播算法(B)可变参数1、隐含层的数目2、学习效率3、动态常量4、停止准则 神经网络模型节点 神经网络的主要特点 并行分布处理——并行结构和并行实现，适于实时和动态处理 非线性映射——可以处理非线性问题 适应和集成——适用于复杂、大规模和多变量系统，可以在线  运行和定性定量分析 自学习训练——可以解决数学模型和规则难以解决的问题 Clementine中神经网络的特有功能： 敏感度分析：以辅助解释神经网络结果 修剪和验证：以避免过度训练 动态网络 ：自动找出合适的网络结构设计 神经网络模型节点 神经网络模型的主要功能  分类（Cl） 预测（Pr） 控制（Ct） 函数拟合（Ft） 神经网络的不足： 模型为黑匣子，得到的结果不易解释 模型可能会出现过拟合的情况 结果可能是局部最小值，而非全局最优值 1.4创建网络 1.5数据结构:影响网络仿真的输入数据结构的格式 动态网络中的异步输入仿真：当网络中存在延迟时，顺序发生的输入向量就要按一定的序列输入网络。为了演示这种情况，我们以一个有延迟的简单网络为例。 动态网络中的同步输入仿真 如果我们在上例中把输入作为同步而不是异步应用，我们就会得到完全不同的响应。这就好象每一个输入都同时加到一个单独的并行网络中。在前一个例子中，如果我们用一组同步输入，我们有： p1=[1], p2=[2],p3=[3], p4=[4] 这可用下列代码创建： P =[1 2 3 4]; 模拟这个网络，我们得到： A = sim(net,P) A = 1 2 3 4 在某些特定的情况下，我们可能想要在同一时间模拟一些不同序列的网络响应。这种情况我们就要给网络输入一组同步序列。比如说，我们要把下面两个序列输入网络： p(1)=[1], p(2)=[2],p(3)=[3], p(4)=[4] p(1)=[4], p(2)=[3],p(3)=[2], p(4)=[1] 输入 P应