智能控制系统 神经网络.ppt

第五章 神经网络控制 神经网络的基本原理和结构 神经元是由细胞体、树突和轴突组成 神经网络的基本模型 神经元输出特性函数常选用的类型有： ⑴前向网络 ；⑵有反馈的前向网络 ；⑶层内有互联的前向 网络 ；⑷互联网络 ⑵有反馈的前向网络：典型的网络有Hopfield神经网络 人工神经网络的基本结构类型 神经网络的学习方法 从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练 学习方式： 监督学习 非监督学习 再励学习(强化学习） 神经网络的学习方法 学习规则(learning rule)： Hebb学习算法 误差纠正学习算法 概率式学习 竞争学习算法 前向网络及其算法 前馈神经网络(feed forward NN)：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。 图中结点为神经元（PE）：多输入单输出，输出馈送多个其他结点。 前馈网络通常分为不同的层(layer)，第i层的输入只与第i-1层的输出联结。 可见层：输入层(input layer)和输出层(output layer) 隐层(hidden layer) ：中间层 感知器是1957年美国学者Rosenblatt提出的一种用于模式分类的神经网络模型。 感知器是由阈值元件组成且具有单层计算单元的神经网络，具有学习功能。 感知器是最简单的前馈网络，它主要用于模式分类，也可用在基于模式分类的学习控制和多模态控制中，其基本思想是将一些类似于生物神经元的处理元件构成一个单层的计算网络 感知器 2.4.2 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP网络的标准学习算法-算法思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 2.4.2 BP网络的标准学习算法 网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; BP网络的标准学习算法 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： BP网络的标准学习算法 第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 k个输入样本及对应期望输出 2.4.2 BP网络的标准学习算法 第三步，计算隐含层各神经元的输入和输出 BP网络的标准学习算法 第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。 BP网络的标准学习算法 第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。 BP网络的标准学习算法 第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。 BP网络的标准学习算法 第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 BP算法尚存在以下一些缺点 ①由于采用非线性梯度优化算法，易形成局部极小而得不到整体最优； ②优化算法次数甚多使得学习效率低，收敛速度很慢； ③BP网络是前向网络，无反馈连接，影响信息交换速度和效率； ④网络输入节点、输出节点由问题而定，但隐节点的选取根据经验，缺乏理论指导； ⑤在训练中学习新样本有遗忘旧样本的趋势，且要求每个样本的特征数目要相同。 三种改进算法 ：⑴引入动量项 ⑵变尺度法 ⑶变步长法 反馈网络 是一种全连结加权无向图，可分为离散型和连续 性两种 离散Hopfield网络 离散型网络：单层网络，有n各神经元节点，每个神 经元输出连接到其他神经元输入，各节点没有自反馈 每个节点有一个阈值，ωij是神经元间的连接权值，每 个神经元处于状