离散Hopfield神经网络及应用举例.ppt

* * * * * * * * * 离散Hopfield神经网络及应用举例 What is Artifical Neural Network? What can ANN do for us? When can we use ANN? What kind of ANN should we select? 关于人工神经网络 人工神经网络（复习） ●人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 ●人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 ●根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 网络 属性 感知器 BP神经网络 RBF神经网络 SOM神经网络 MATLAB函数 newp newff newrb newrbe newc 应用领域 分类 逼近、预测 、分类 逼近、预测 分类 如何选择神经网络 需要注意的两点 ●虽然人工神经网络有学习、识别、控制、逼近、分类、预测等强大功能，但应该明确的是它不是万能的。想要得到一个什么样子的结果对于是否选择神经网络非常重要，如果想要的结果要求非常精准，那么最好不要选择人工神经网络模型。 ●如果对结果要求不严格，系统数学模型未知或者很复杂，比较合适选取人工神经网络。因为神经网络对于用户来说，只是一个“黑匣子”，用户不需要知道内部结构，只需确定输入输出即可。 反馈神经网络 ●反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 ●反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 1.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 2.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 ●反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 Hopfield神经网络 ●Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 ●1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(快速寻优问题)。 ●根据网络的输出是离散量或是连续量，Hopfield网络也分为离散和连续的两种。 Hello,I’m John Hopfield Hopfield神经网络 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。 右图中，第0层是输入，不是神经元；第二层是神经元。 Hopfield神经网络有两种：离散Hopfield网络（DHNN）和连续Hopfield网络（CHNN） 。 1.离散Hopfield网络（DHNN）：神经元的输出只取1和0，分别表示神经元处于激活和抑制状态。对于二值神经元，它的计算公式如下 其中，xi为外部输入。并且有： 2.连续Hopfield网络（CHNN）拓扑结构和DHNN的结构相同。不同之处在于其函数g不是阶跃函数，而是S形的连续函数。一般取 G (u)=1/(1+eu)