第章神经网络-联想记忆(n).docVIP

第二章 Hopfi?eld联想? 26 2.1 简单线性联?想网络(LAM) 26 2.2 Hopfi?eld联想? 27 2.3 利用外积和?的双极性H?opfie?ld网络 28 2.4 Hopfi?eld网络? 30 2.5 Hopfi?eld网络? 32 2.6 二次优化问?题的 Hopfi?eld网络? 36 2.7 双向联想记?忆（BAM）网络 37 第二章 Hopfi?eld联想?记忆神经网?络 Hopfi?eld网络?的神经单元?是全连接的?，即每两个单?元都通过权?值连接在一?起。它的学习过?程是一次完?成的，而工作过程?则是模拟人?的联想记忆?，通过反复迭?代来完成。Hopfi?eld网络?2.1 简单线性联?想网络(LAM) 样本向量及?相应的理想?输出样本向?量，组成输入及?理想输出矩?阵和。所谓线性联?想(Linea?r Assoc?iativ?e Memor?y, LAM), 即试图构造?矩阵使得 (2.1.1) 当然，一般来说，使(2.1.1)成立的可能?并不存在，或者难于直?接求得。 因此，我们希望能?给出尽可能?简单（易于求得）而又有效（即线性联想?误差尽可能?小）的选取权矩?阵的方法。依据和选定?以后，对中任一向?量，定义其线性?联想为 (2.1.2) 的情形，称为自联想?；而时，称为异联想?。 选取的一个?简单办法是?令 (2.1.3) 其中是一个?适当常数，例如可选或?。(2.1.3)的分量形式?为 (2.1.3ˊ) 这是一种典?型的Heb?型学习规则?，即输入单元?与输出单元?之间的连接?强度（权值）与相应的输?入输出数据?的强度成正?比。这一点与人?的记忆机制?有共同之处?。权矩阵按(2.1.3)选取时，(2.1.2)称为简单线?性联想网络?。 特别地，当输入样本?向量标准正?交，且时，有 (2.1.4) 即联想回忆?对样本集是?完美的。 一般地，如果输入向?量按方向接?近于某一输?入样本向量?（即，是某一非零?实数），而与其它样?本输入向量?“张开角度”较大，则 比大得多，从而输出向?量按方向接?近于。 2.2 Hopfi?eld联想?记忆模型 处理单元的?网络，每个单元与?所有单元都?连接（全连接）。从单元到单?元的连接权?记为，组成阶权矩?阵。设网络中已?经存储了个?样本模式 即根据这些?样本模式按?某种方式确?定了权矩阵?。典型的Ho?pfiel?d联想记忆?模型可描述?为：给定任一输?入模式，按公式 (2.2.1) 反复迭代，直至收敛，得到最后的?输出模式，作为输入模?式的联想。在(2.2.1)中，是阈值向量?。按公式(2.2.1)更新网络状?态时有两种?方式。一种是并行?（同步）方式，即像(2.2.1)中那样，每次迭代同?时更新所有?单元的状态?。 另一种是串?行（异步）方式，即在第步迭?代时，（可以是顺序?地，也可以是随?机地）选取某一个?下标 ，只改变一个?神经单元的?状态，而其余个单?元保持不变?： (2.2.2) 若是符号函?数（取值为或），则称之为双?极性网络；若值域是实?数域上某一?区间，则称之为连?续值网络。另外，还可以考虑?类似于(2.4.1)的微分方程?型Hopf?ield网?络。 (2.2.1)或(2.2.2)都是离散动?力系统。为了达到联?想记忆的目?的，我们对权矩?阵的第一个?要求是存储?模式应该是?(2.2.1)的稳定点，即 (2.2.3) 其次，当输入模式?接近于某一?存储模式（即已知该存?储模式的部?分或模糊的?信息）时，由(2.2.1)或（2.2.2）于（即恢复或联?想出该模式?的全部信息?）。最后，的选取还应?该使上述收?敛过程尽可?能地快。图2.1给出了具?2.1 有三个稳定?存储模式的?联想记忆 2.3 利用外积和?的双极性H?opfie?ld网络 （双极性），即(2.2.1)中的取为符?号函数 (2.3.1) 对向量，我们记。选取权矩阵?的最简单的?办法是利用?待存储模式?的外积和（参见(2.1.3)）： (2.3.2) 相应的分量?