第8章 协同神经网络.ppt

第八章  协 同 神 经 网 络 Synergetic Neural Network (SNN) 主要内容 8.1 协同学简介 8.2 协同神经网络及其学习算法 8.3 仿生模式识别 8.4 仿真实例 8.1 协同学简介 研究背景 客观世界丰富多彩，复杂多变，在这样一个复杂的世界中，若我们用数学的眼光来进行观察，就会发现可线性描述的事物微乎其微，在绝大多数系统中，特别是复杂系统中存在的都是非线性规律。在以往的研究中，往往把非线性因素归结为扰动或噪声加以简单理想化，导致了结果的不精确甚至不正确。 研究背景 从二十世纪中叶以来，随着非线性动力学，随机微分方程等数学工具的不断发展，普利高津、哈肯等人在对非平衡热力学、激光等领域的研究中逐渐形成了耗散结构理论、协同学等非线性理论，它们从另一个角度即系统整体性的角度来研究复杂现象，使得人们对客观事物的研究方法有了一个突破，被称为20世纪继相对论和量子力学两项科学发现之后的第三次科学革命。 研究地位 非线性科学的基本框架 耗散结构理论 协同学（Synergetics） 突变理论 分形和分维理论 混沌理论 耗散结构理论 比利时布鲁塞尔学派的领导人普利高津Prigogine 于1969年提出。 耗散结构理论 所谓耗散结构即对应于平衡结构的概念。在平衡结构中达到的有序是一种“死”结构，若是打破平衡，这种有序就变成了无序，普利高津发现，若再加以外界物质流或能量流，使系统远离非平衡线性区，无序就可进化为有序，他将这种非平衡下的有序状态称为“耗散结构”。 例1：一个容器装有液体，在其下方加热，当加热强度达到某个临界值时，液体会出现很多中心流体向上运动、周边流体向下运动，形成微小对流形式的六角形的花纹结构。这种空间上有序结构的出现，不是依靠外力的安排，而是发生于系统内部。 被加热液体对流形成的花纹结构 达到耗散结构的四个条件: (1) 非平衡 (2) 非线性 (3) 开放性 (4) 存在涨落力 系统发展的否定之否定过程 耗散结构理论揭开了非线性研究的大幕，在此基础上，人们对非平衡有序状态的进一步研究，导致了协同学、突变、分形、混沌等非线性科学的百花齐放。 协同学 Haken在1977年正式提出了协同学理论，摆脱了理论物理的传统研究方法，结合平衡相变理论、激光理论、信息理论、控制理论、一般系统论、动力系统理论，建立了一套处理非平衡相变的理论和方法，引入了order parameter（序参量）、slaving principle（支配原理）等概念，成为一门独树一帜、颇受学术界青睐的学科。 发展过程： 1970年，在斯图加特大学冬季学期演讲中 ，Haken首次引入了协同学的概念 ； 1971年 ，发表了论文“协同学：一门合作的学说”，论文深刻阐述了协同的概念； 1977年 ，《Synergetics，An Introduction》建立了协同学的理论框架； 1983年 ，《Advanced Synergetics》标志着协同学的微观理论走向成熟； 1991年 ，发表了一本重要著作《Synergetic Computers and Cognition—A Top-Down Approach to Neural Nets》，将协同学思想扩展到计算机科学和认知科学。 Prigogine是在发展热力学理论的过程中阐述耗散结构理论的，所以用耗散结构理论研究其他问题，特别是社会问题、经济问题，就有很大困难。这并不是说社会系统不是耗散结构，而是社会系统过于复杂，远远不是简单的反应扩散方程所能描述的，用从分子级耗散结构研究中形成的数学工具去研究社会级耗散结构将遇到很大的困难。 Haken在耗散结构论的基础上，改从动力系统角度来研究从无序产生有序的规律性，以非线性动力学为数学工具，给出一个完善的数学解决方法，从而可以对自然科学问题给出定量结果，而且对社会科学问题也能给予定性解释。协同学“删繁就简”的支配原理方法是绝热近似的发展，使它可以分析比Prigogine提出耗散结构论时更复杂的系统，如细胞、机体和社会。 协同学的主要内容就是用演化方程来研究协同系统的各种非平衡定态和不稳定性(又称非平衡相变)。 例1: 激光中的不稳定性。 当泵浦参量小于第一阈值时，无激光发生；但当其超过第一阈值时，就出现稳定的连续激光；若再进一步增大泵浦参量使其超过第二阈值时就呈现出规则的超短脉冲激光序列。 例2：流体绕圆柱体流动时呈现的不稳定性。 当流速低于第一临界值时是一种均匀层流；但当流速高于第一临界值时，便出现静态花样，形成一对旋涡；若再进一步提高流速使其高于第二临界值时，就呈