第10章人工神经网络-Hopfield.ppt

第（ 4 ）项为优化目标，即优化要求其表达式为 由前三个约束条件可知，这两项至少有一项为 0 ，顺序访 问 X 、 Y 两城市所有可能途径（长度）可表示为 能量函数表达式 网络加权及阈值 求解TSP网络的迭代方程 （1）网络参数的选择 网络参数A，B，C，D，u0等对网络的变化相当敏感，原则上不能随意改变， Hopfield和Tank给出的参数值为：A＝B＝D＝500，C＝200，u0＝0.02。 这种选择是考虑了以下两点后的折中： ①D值较小时，容易获得合法路径；D值较大时，可增加路径长度的权重，从而使合法路径趋于最优； ②u0是放大器的增益，太小时阈值函数接近于符号函数，不能获得较好的解；太大时，S型阈值函数过于平坦，神经元状态不易于收敛到0和1，从而使获得合法路径的概率下降。 除了以上两点外，考虑网络参数对收敛速度的影响。实际上选择为A＝B＝D＝0.5．C＝0.2，u0＝0.02。这样的选择使能量函数数量级差异减小，从而使能量的数值也减小。程序中是以?E为收敛判据，因而这种选择加快了程序收敛的速度。 （2）网络初始状态的选择 对于网络初始状态u0的选择问题，常采用随机扰动的方法。即给初始值u0增加一个小的扰动δ (3)阈值函数的处理 双曲正切函数阈值函数的计算包括二次指数计算、二次除法计算、三次加法计算，运算量很大，并且在每次迭代中都要调用N2次，这祥的运算严重彤响了网络的收敛速度。为此把该函数离散化，即在函数值变化敏感区域预先计算好足够多的离散函数值，形成表格存入计算机。这样在迭代过程中就无需经常计算函数值，而代之以查表值(只需一次乘法和一次加法)，可大大提高计算速度。 (4)神经元的状态值需取为模拟量 由于在迭代过程中，城市位置的选取可能有很多种选择，采用模拟值来处理单元的状态是必然的。利用连续网络的模拟特性进行中间处理，可以在一次处理中同时考虑多条路径。这样可大量减少迭代次数，使计算具有一定的并行特征。 用上述方法对10个城市的TSP做100次仿真试验，发现在1000步迭代计算以内有15次收敛到有效路径的解(可行解)，45次收敛到对应于无效路径的解(不满足约束条件)，还有40次未达到收敛，试验中所用常数为a=b=d=500，c＝200，u0＝0.02，I＝1000。说明上述方法存在问题，即经常收敛到无效解，而且对常数a,b等的选择较敏感，而这些常数的选择又没有可遵循的规律。针对上述问题，学者们做了许多研究来分析上述问题产生的原因和解决方法。 * 权值移动 在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序: 当网络准确的记忆X1时，为了记忆X2,需要在记忆样本X1的权值上加上对样本X2的记忆项X2 X2T-I，将权值在原来值的基础上产生了移动。这样网络有可能部分地遗忘了以前已记忆的模式。 从动力学的角度来看，k值较小时，网络Hebb学习规则可以使输入学习样本成为其吸引子。随着k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能使已记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。 交叉干扰 网络在学习多个样本后，在回忆阶段，即验证该记忆样本时所产生的干扰，称为交叉干扰。 对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比n小得多，一般为(0.13~0.15)n。 权值修正的其它方法 1、?学习规则 2、伪逆法 3、正交化权值设计 ?学习规则 ?学习规则基本公式是： 即通过计算该神经元节点的实际激励值A(t)，与期望状态T(t)进行比较，若不满足要求，将两者的误差的一部分作为调整量，若满足要求，则相应的权值保持不变。 伪逆法 [ ] ( ) ( ) 求出权矩阵 满秩，其逆存在，则可 线性无关的，则 如果样本之间是 为伪逆，有 其中 由此可得 输入输出之间用权值W来映射，则有 设输入样本 W X X X X X X X N W N Y X W N X X X X T T T N , sgn , 1 2 1 - * * * * = = = * = = L X 用伪逆法求出的权W可以保证在自己输入时仍能收敛到样本自己。如果N与输入X完全相同，则W也可以是对称的，因而满足稳定工作的条件。其实只要满足Y矩阵中每一个元与WX矩阵中的每