ch4神经网络信息处理.ppt

第四章 神经网络信息处理 4.1 概述 4.2 人工神经网络基本模型 4.3 BP网络 4.4 Hopfield网络 4.5 径向基函数神经网络 4.6 自组织特征映射神经网络 4.7 神经网络的泛化理论 4.8 神经网络的参数优化设计 4.1 概述 4.1.1 生物神经元 4.1.2 人工神经元 4.1.3 神经网络的拓扑结构 4.1.4 人工神经网络的发展 4.1.1 生物神经元 人工神经网络(ANN)是对生物神经系统(BNN)的模拟，ANN的研究出发点是生物神经元学说。 生物神经元学说认为： BNN是个高度组织的、相互作用的、数量巨大的细胞组织群体，它包括中枢神经系统和大脑，均由各类神经元组成。 神经系统的基本单元是神经元，也称神经细胞。它是神经系统中独立的营养和功能单元。 人类大脑的神经细胞大约在1011~1013个左右。神经元按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。 4.1.1 生物神经元 神经元由4个部分组成： 细胞体——神经细胞的本体，完成细胞的生存功能。 树突——接受来自其他神经元的信号。 轴突——输出信号。 突触——与另一个神经元相联系的特殊部位。 4.1.1 生物神经元 单个神经元从别的细胞接受千个以上的突触输入。 输入可达到神经元的不同部位，但其分布不同，对神经元影响的程度也不同。 一个神经元有两种状态——兴奋和抑制。 多个神经元以突触联接形成了一个神经网络。 BNN不是单个神经元生理和信息处理功能的简单叠加，而是一个有层次的、多单元的动态信息处理系统。 4.1.2 人工神经元 ANN是对BNN的某种抽象、简化和模拟，它没有完全真正地反映大脑的功能。 ANN的信息处理由人工神经元（简称神经元）之间的相互作用来实现。 神经元是人工神经网络的基本处理单元。 ANN中，知识与信息的存贮表现为网络元件互连分布式的物理联系。 ANN的学习和识别取决于各神经元连接权系数的动态演化过程。 4.1.2 人工神经元 神经元一般是一个多输入单输出的非线性器件。 神经元i 4.1.2 人工神经元 　　函数f(?)表达了神经元的输入输出特性，常用以下函数表达神经元的非线性特征： 阈值型（阶跃函数） 4.1.2 人工神经元 线性型 4.1.2 人工神经元 S型（Sigmod函数） 对数正切： 双曲正切： 4.1.2 人工神经元 辐射基函数 高斯函数： 三角波函数： 4.1.3 神经网络的拓扑结构 前向神经网络 神经元分层排列，分别组成输入层、中间层（也称为隐含层，可以有若干层）和输出层。 每一层的神经元只接受来自前一层神经元的输入，后面的层对前面层没有信号反馈. 4.1.3 神经网络的拓扑结构 反馈神经网络 有反馈的前向网络 从输出层对输入层有信息反馈。 该网络可存贮某种模式序列。 4.1.3 神经网络的拓扑结构 反馈神经网络 层内有相互结合的前向网络 通过层内神经元的相互结合，实现同一层内神经元之间的横向抑制或兴奋机制。 可以限制每层内能同时动作的神经元数，或把每层内的神经元分成若干组，让每组作为一个整体来运作。 4.1.3 神经网络的拓扑结构 反馈神经网络 相互结合型网络 任意两个神经元间都可能有连接。 从某种初始状态开始，信号在神经元之间反复传递，网络处于一种不断改变状态的动态之中，经过若干次的变化，达到某种平衡状态。 4.1.1 人工神经网络的发展 1943年 美国心理学家W. McCulloch(麦卡洛克)和数学家W. Pitts(皮茨)提出了一个简单的神经元模型，通常称为MP模型。 模型中，当神经元处于兴奋状态时，其输出为1；处于非兴奋状态时，输出为0。 4.1.1 人工神经网络 的发展 1949年 Hebb提出神经元的学习法则—Hebb学习法则：若神经元i和神经元j同时处于兴奋状态，它们之间的连接应当加强，?wji=?vivj。 当神经元兴奋时，输入侧的突触结合强度由于受到刺激而得到增强，这就给神经网络带来了“可塑性”，并被认为是用神经网络进行模式识别和记忆的基础。 目前，许多神经网络型机器的学习法则仍采用Hebb准则或它的变型。 4.1.1 人工神经网络 的发展 1958年 F. Rosenblatt提出了一种模式识别机--感知机模型(Perception)。 它由接收单元组成的输入层、MP神经元组成的联合层和输出层构成。 4.1.1 人工神经网络 的发展 1982年 美国物理学家J. J. Hopfield对神经网络的动态特性进行了研究，提出了Hopfield神经网络模型，解决了经典的TSP问题。 Hopfield神经网络是一个互