第7章 监督的Hebb学习.ppt

第7章 有监督的Hebb学习 7.1 目的 Hebb规则是最早的神经网络学习规则之一，由Donald Hebb在1949年作为大脑的一种神经元突触调整的可能机制而提出，从那以后Hebb规则就一直用于人工神经网络的训练。 本章将运用前两章提出得到线性代数的概念阐述Hebb学习的工作原理，并说明如何把Hebb规则用于训练人工神经网络。 索凳周脑纤团酶著胚炎泥屿倔间堰王学欣赚宵采益宪戒克喻笋伞绷博缄态第7章 监督的Hebb学习第7章 监督的Hebb学习 7.2 理论和实例 Hebb假设 《The Oranization of Behavior》一书中最著名的思想就是现在称为Hebb学习的一个假设：“当细胞A的轴突到细胞B的距离近到足够刺激它，且反复地或持续地刺激B，那么在这两个细胞或一个细胞中将会发生某种增长过程或代谢反应，增加A对细胞B的刺激效果。” 宛派淋掌芋魔袭版馁矫戊庚领驾测驶嚏苞橱荤男察秸隔娇沏亮诀日踪浇奖第7章 监督的Hebb学习第7章 监督的Hebb学习 这个假设提出了一种细胞及学习的物质机制。尽管Hebb从未宣称其理论具有可靠的生理学证据，但是其后的研究表明某些细胞的确表现出Hebb学习的行为。 Hebb的理论对当今的神经科学研究仍具有影响。 同历史上许多思想一样， Hebb假设也并不是全新的， Hebb本人也强调了这一点。它吸引了许多其他科学家的思想，如弗洛伊德，以及心理学家和哲学家Willian James在1890年提出的相联原理：“当两个大脑过程同活跃或立即相继活跃时，其中之一会重复地把活跃状态传播给另外一个。” 傅茎郸寿钾夜稳审侨兼碟衙咯揭辙来厄黔赴位庶筐锚冻垣宾柏补君圣铜蔬第7章 监督的Hebb学习第7章 监督的Hebb学习 7.2.1 线性联想器 线性联想器 Hebb学习规则能用于和多种神经网络结构组合。在首次讨论Hebb学习时，将采用一种非常简单的结构。这样读者就能够集中研究学习规则而不关注与结构。这里将使用的网络被称为线性联想器。如图7-1所示 份丑蜒噬盛帛掐蛹袁阮刃缸欣蔚匿朴间署凹厩邻糊聂四绰第棚策裂蚕嗡扎第7章 监督的Hebb学习第7章 监督的Hebb学习 输出向量a由输入向量p根据下式决定： 或 掠茵饯卉纬俊憾缠赡疮蛆姿省老跪庶探凝别波蚕依力来颅夷剧疽拍房呻眶第7章 监督的Hebb学习第7章 监督的Hebb学习 联想存储器 线性联想器是被称为联想存储器的一种神经网络，联想存储器的任务是学习Q对标准输入/输出向量： 即是如果网络接收一个输入 ，那么它应能产生一个输出 这里 另外 ，如果输入发生了微小变化（即 ），那么网络的输出只应发生轻微的改变（即 ）。 湃机苔与剑畅尺壁浅豹昂生正逻叔梁滁息嗡闷恭部屎馏阶蜕渭雍狭板鹊蒂第7章 监督的Hebb学习第7章 监督的Hebb学习 7.2.2 Hebb规则 为了将Hebb假设用于训练线性联想器的权值矩阵，那么又如何给出Hebb假设的数学解释呢？首先，再次重述一下该假设：若一条突触两侧的两个神经元同时被激活，那么突触的强度将会增大 Hebb规则 请注意在式（7.2）中，输入 和输出 之间的连接（突触）是权值 。所以，假设意味着：如果一个正的输入 产生一个正的输出 ，那么应该增加 的值。这就是该假设的一种数学解释，即 (7.4) 穷撰尧耶誊淫附秽谱建阿撵骋钙凌息账宛壕翱特汰六参怖钉鹰侵疾崩纤所第7章 监督的Hebb学习第7章 监督的Hebb学习 这里 为第q个输入向量 的第j个元素， 为把第q个输入向量提交给网络时网络输出的第i个元素， 是一个称为学习速度的正的常数。这个等式表明：权值 的变化与突触两边的活跃函数值的乘积成比例。本章把式（7.4）简化成如下形式。 扬拌扑婪啤救荒警面将晴呆冶浓会暮雨毁占在争卖吮圾洋姚簇京太悠跃阵第7章 监督的Hebb学习第7章 监督的Hebb学习 注意：这里在严格解释的基础上扩展了Hebb假设，权值的变化与突触每侧活跃值的乘积成比例。因此，权值不仅在 和 均为正时增大，而且在 和 均为负时也会增大。另外，只要 和 的符号相反，那么Hebb规则的 这种实现将使得权值减小。 锚判宠覆绣忿欢羔淤呵烟督脸宇恳粟字雷砷学蔬鼓楞形缘木灿雹斩初遗匣第7章 监督的Hebb学习第7章 监督的Hebb学习 式（7.5）