第四章 人工神经网络.ppt

人工智能 华中科技大学水电与数字化工程学院 代入Hopfield网络运行方程，则得求解TSP的网络迭代方程： 具体计算迭代步骤为： ①、初始化 取?=50，为保证问题收敛于正确解，按下式取网络的25个神经元的内部初始状态： 4.5 反馈神经网络——连续Hopfield网络——求解TSP问题举例 为(-1,+1)区间内的随机数 这样做的目的是使网络因初始状态的不同而引起竞争，从而使网络朝收敛方向发展。 ②、求各神经元的输出 ③、求 ④、根据： 求出下一时刻的 值，返回步骤②。 4.5 反馈神经网络——连续Hopfield网络——求解TSP问题举例 注意：在每进行一遍巡回之后，要检查运行结果即旅行路径的合法性。主要有三方面： ①、每个神经元的输出状态必须是“0”或“1”。 ②、换位矩阵每行有且仅有一个为1的单元。 ③、换位矩阵每列有且仅有一个为1的单元。 这里只要神经元输出vxi0.01，则可视为0，vxi0.99，则可视为1。 当网络的运行迭代次数大于事先给定的回数时，经检查运行结果仍属非法时，说明从这一初始状态网络不能收敛到全局最小值。这时需要更换一组网络初始状态(即重新设置)。从步骤②开始再进行网络迭代，直到网络达到稳定状态。 4.5 反馈神经网络——连续Hopfield网络——求解TSP问题举例 经验表明，当选择合适的参数，如A=500，B=500，C=200，D=500，网络能收敛得到较满意的结构。 但是应指出，用Hopfield网络解决TSP问题并不是每次都能收敛到最小值，而时常会“冻结”在无意义的旅行线路上。 这说明Hopfield网络模型具有不稳健性(Non Robustness)。关于这方面的问题，有关文献提出了深入的研究。 4.5 反馈神经网络——连续Hopfield网络——求解TSP问题举例 总结以上用神经网络解决优化组合问题的方法，其主要思想是根据问题的性质，把目标函数与网络能量函数联系在一起，把问题的变量对应于网络单元状态，通过网络运行时能量函数的最小化趋势得到问题的最优解。由于网络是以迅速收敛的迭代方式运行的，所以那些有“组合爆炸”危险的复杂问题可以变为可计算的简单问题。而运用这一方法的关键是恰当地写出问题的网络能量函数。构造网络能量函数的一般方法可用下式表示： 式中，第一项称为惩罚项(即违反约束要付出代价)，E0是需要优化的目标函数，常数ai和a0为平衡Ei和E0在总能量函数中的作用，如最小化E0，则a00；而最大化E0，则a00。 4.5 反馈神经网络——连续Hopfield网络——求解TSP问题举例 是一种随机神经网络，也是一种反馈型神经网络，它在很多方面与离散型Hopfield网类似。 Boltmann机可用于模式分类、预测、组合优化及规划等方面。 4.5 反馈神经网络——Boltmann机 4.6 局部逼近神经网络 如果网络的一个或多个连接权系数或自适应可调参数在输入空间的每一点对任何一个输出都有影响，则称该神经网络为全局逼近网络。多层前馈网络是全局逼近的典型例子。 对于每个输入输出数据对，网络的每个连接权均需进行调整，从而导致全局逼近网络学习速度很慢。 若对输入空间的某个局部区域，只有少数几个连接权值影响网络的输出，则称该网络为局部逼近网络。 对于每个输入输出数据对，只有少量的连接权需要进行调整，从而使局部逼近网络具有学习速度快的优点。 CMAC、B样条、RBF以及某些模糊神经网络是局部逼近神经网络的典型例子。 4.6 局部逼近神经网络 并在R1中相应给定N个实数的集合 寻求一个函数F：Rn?R1，使之满足插值条件： RBF (Radial Basis Function)方法最初是被用于严格多变量插值问题中的一种方法。 对一个严格多变量插值问题，要求插值空间(函数)穿过所有训练样本数据点，用数学语言可以表示如下： 在n维空间中，给定一个有N个不同点的集合： 4.6 局部逼近神经网络——RBF和插值问题 所谓记忆容量是指：在网络结构参数一定的条件下，要保证联想功能的正确实现，网络所能存储的最大的样本数。 也就是说，给定网络节点数n，样本数m最大可能为多少，这些样本向量不仅本身应为网络的吸引子，而且应有一定的吸引域，这样才能实现联想记忆的功能。 记忆容量不仅与节点数n有关，它还与连接权的设计有关，适当地设计连接权可以提高网络的记忆容量。 记忆容量还与样本本身的性质有关，对于用Hebb规则设计连接权的网络，如果输入样本是正交的，则可以获得最大的记忆容量。实际问题的样本不可能都是正交的，所以在研究记忆容量时通常都假设样本向量是随机的。 记忆容量还与要求的吸引域大小有关，要求的吸引域越大，则记忆容量便越小。 4.5 反馈神经网络——离散Hopfi