神经网络教材课程.ppt

特殊学习结构 基于神经网络的递阶控制 第一部分是常规反馈环，通常是一个PI控制器 第二部分是与NN1连接的路径，该部分为系统动态识别器 第三部分是NN2，它检测期望的输出和装置输入。 模糊逻辑与神经网络的集成 skills Fuzzy systems Neural networks Knowledge acquisition Human experts (interaction) Sample data sets (algorithms) Uncertainty Quantitative and qualitative (decision making) Qualitative (perception) Reasoning Heuristic search (low speed) Parallel computations (high speed) Adaptation Low Very high (adjusting link weights) 模糊系统与神经网络的比较 Seeking a functional mapping between fuzzy reasoning algorithms and neural network paradigms Finding a structural mapping from a fuzzy reasoning system to a kind of neural network 模糊逻辑与神经网络的集成 Hopfield神经网络 连续型Hopfield神经网络 动态反馈神经网络 TD神经网络一般有如下差分方程描述 当 是一加权线性求和函数时，它等效于一线性FIR滤波器，在这一网络中不存在反馈，因此可用标准BP算法训练。 动态网络模型包括: 时延神经网络（TD神经网络） 具有反馈动力学的网络 动态反馈神经网络 具有输出反馈的TD神经网络 当 是一加权线性求和函数时，它等效于一线性IIR滤波器 动态反馈神经网络 动态神经网络的学习算法： 1）有不动点的学习 2）轨线学习 它们与静态神经网络的学习算法一样，都属于非线性优化算法 动态神经网络很适合作为非线性动态系统的状态空间模型 波尔兹曼机模型 从宏观上看，各神经元的状态可看作是一个随机变量。从统计观点分析，也可以寻找神经网络系统中某神经元的状态的概率分布，分布的形式与网络的结构有关，其参数则是权系数 Hinton等人借助统计物理学的方法提出了波尔兹曼机（Boltzma神经网络），它可用于模式分类、预测、组合优化及规划等方面 波尔兹曼机模型 波尔兹曼机是一种多层网络，它由输入层、输出层和隐层构成。网络没有明显的层次，隐单元之间互相连接，网络状态按照概率分布变化 网络状态服从统计学的波尔兹曼机分布。两个状态出现的概率之比只与它们的能量差有关。对于温度参数T，T越大则状态变化越容易。为了使网络收敛到低温下的平衡状态，可以从高温开始，然后徐徐退火，最后系统将以相当高的概率收敛到网络的最小能量状态，这是模拟退火算法在波尔兹曼机中应用的基本原理 采用模拟退火算法，可以避免局部极小，而达到全局能量最小的状态，通用性强 双向联想记忆网络 Kosko提出的BAM，它是两层反馈网络，可以实现异联想记忆的功能。它使前向和反向双向联想，从一输入对回忆一相关的双极性向量对，即称为异（双向）联想存储器 模糊神经网络 （1）由模糊规则描述的模糊神经元 （2）对非模糊神经元直接模糊化得到模糊神经元 （3）模糊神经元的学习和自适应机制 模糊联想记忆 通过将单位立方体映射为单位立方体的方法，将模糊集映射为模糊集的变换。 最简单的情况下，FAM系统可以只有一对关联。 一般地，FAM系统由一组不同的FAM关联组成 模糊极大—极小神经网络 每个超盒及其隶属函数可以用神经网络来实现 极小－极大点变成网络中的连接权值，转移函数则变成隶属函数 利用一种扩张/收缩过程实现模糊极小—极大学习，该学习过程由两部分组成：1）扩张——辨别出可以扩张的超盒并将其扩张，如不可能则再添上一个新的超盒；2）收缩——消除表示不同类的相邻超盒之间的重叠。 模糊关系神经网络 （1）对参数a和Q初始化，即赋值a(1)、Q(1)； （2）更新a和Q 输入节点集和输出节点集，极大－极小复合算子，在模糊集X和模糊关系R上运算，得出另一个模糊集Y 模糊Hopfield神经网络 模糊Hopfield网络具有Hopfield型神经元网络的体系结构 模糊Hopfield网络的神经元对应模式集合中的元素，模式间的模糊相似关系作为联接神经元的权值矩阵被存储在模糊Hopfield网络中 模糊Modular神经网络 系统的训练采用混合学习算法，即门网络的学习采