第7节 神经网络的理论基础..Convertor.doc

§7 神经网络的理论基础 传统的基于模型的控制方式：是根据被控对象的数学模型来设计控制器，并对控制规律加以数学解析描述。 模糊控制：是基于专家经验和领域知识总结出若干条模糊控制规则，构成描述具有不确定性复杂对象的模糊关系，通过被控系统输出误差及误差变化和模糊关系的推理合成获得控制器。解决了智能控制中人类语言的描述和推理问题，在机器人模拟人脑的感知、推理等智能行为方面迈出了重要一步，但在数据处理、自学习能力方面还远未达到人脑的境界。 上述两种控制方式都具有显式表达知识的特点。 人工神经网络控制（Artificial Neural Network)：用来模拟人类大脑神经网络的结构和行为，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类智慧的一条重要途径，反映了人脑的若干基本特征：并行处理、学习、联想、模式分类、记忆等。不善于显式表达知识，具有很强的逼近非线性函数的能力。 §7.1 神经网络的发展史 启蒙期（1890~1969） 1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。 1943年，W.s.McCulloch和W.Pitts提出了第一个神经网络模型（M-P）。 1949年，心理学家Hebb提出了Hebb学习规则。 1958年，E.Rosenb latt提出了描述信息在人脑中存储和记忆的数学模型，既感知机模型（Perceptron)。 感知机模型被认为是最早提出的一种神经网络模型，有单层感知机 和多层感知机，与BP网络一样，属前馈型神经网络；但连接权值的有关 要求与BP网络有区别：对于两层（隐含层、输出层）的感知机模型，只 有隐含层到输出层的连接权值能够调整，输入层到隐含层的权值必须固 定（因为当时无权值修正的算法）。能解决与、或等问题，但不能解决 “异或”问题。 1962年，Widrow和Hoff提出了自适应线性神经网络（Adaline网络)，并提出了δ学习规则。 低潮期（ 1969 ~ 1982） 1969年：Grossberg提出了ART神经网络。 1972年，Kohonen提出了自组织映射的SOM模型。 3 复兴期（ 1982 ~ 1986） 1982年，物理学家Hopfield提出了Hopfield神经网络模型，该模型引入能量函数，实现了问题的优化求解，并于1984年成功解决了旅行商路径优化问题（TSP）。 1986年，Rumelhart和McCellandz在《Parallel Distributed Processing》一书中提出了BP网络模型。 4 新连接机制时期（1986年至今） 从理论走向应用：神经网络芯片和神经计算机。 §7.2 神经网络的结构 神经网络的结构是由基本处理单元及其连接方法决定的。 一 神经网络概念 是仿效生物处理模式，以获取智能信息处理功能的理论。神经网络着眼于脑的微观网络结构，通过大量的神经元的复杂连接，采用由底到顶的方法，通过自学习、自组织和非线性动力学所形成的并行分布方式来处理难于语言化的模式信息。 神经元及其特性 神经元有多个输入：x1、 x2、···、xn和一个输出y组成， 输出由下式描述： x1 f(u) u0 1 f(u) u 1 u u1 f(u) 1 f(u) u u (a) 二值函数（阈值型函数） (d) 线性函数 (c) Sigmoid函数 (b) 分段线性函数 输出函数的四种常用形式 四种常用函数的表达式如下： 阈值型函数： 分段线性函数： Sigmoid函数： 线性函数： 决定神经网络模型性能的三大要素： 1） 神经元的特性 2） 神经元之间的相互连接形式 3） 为适应环境而改善性能的学习规则。 三 分类 前向网络（前馈网络） 在该方式中，网络被分为输 入层、隐含层和输出层，信 息从输入层开始，经隐含层 流向输出层。每一层的神经 元只接受前一层神经元的输 入，在各神经元之间不存在 反馈。 递归网络（反馈网络） 如右图所示，多个神经元互连以 组织一个互连神经网络，有些神经元 的输出被反馈至同层或前层神经元， 信号能正向和反向双向流通。 典型反馈神经网络模型如 Hopfield网络如下图所示。 两种网络的区别： （1） 信息的传输： 前馈神经网络中信息只向一个方向流动，网络中各神经元接收前一级的输入，并输出到下一级，网络中没有反馈；而反馈神经网络输入信号决定反馈系统的初始状态，然后系统经过一系列状态转移后，逐渐收敛于平衡状态。 （2）应用领域： 前馈神经网络分类能力和模式识别能力强于其它类型的神经网络，一般用于模式识别和函数逼近；反馈神经网络按对能量函数的极小点利用分为两类：