[第三讲3人工神经网络Hopfield.ppt

如何逃离局部极小点？ 联接权修改量 太小：落到A点后很难逃离 太大：导致在A、B两点来回抖动 解决办法 控制联接权修改量的大小：权修改量由大变小 允许暂时变坏 修改量的大小和网络的“能量”相关 模拟退火 逃离局部极小点 模拟退火算法 金属中原子的能量与温度有关 原子能量高的时候，有能力摆脱其原来的能量状态而最后达到一个更加稳定的状态——全局极小能量状态 在金属的退火过程中，能量的状态分布 能量与温度 能量与温度 能量与温度 能量与温度 模拟退火组合优化法 目标函数——能量函数 人工温度T——一个初值较大的数 依据网络的能量和温度来决定联接权的调整量（称为步长）。 与金属的退火过程（Annealing）非常相似 模拟退火组合优化法 基本思想 随机地为系统选择一个初始状态{wij(p)}，在此初始状态下，给系统一个小的随机扰动Δwij(p)，计算系统的能量变化 ΔE=E({wij(p)+Δwij(p)})-E({wij(p)}) 若 ΔE0 则接受 若ΔE≥0 则依据概率 判断是否被接受 若接受，则系统从状态{wij(p)}变换到状态{wij(p)+Δwij(p)}；否则，系统保持不变 统计Hopfield网运行算法 1??取一个很大的值作为人工温度T的初值； 2??对网络中每一个神经元ANi， 2.1?? 按照相应式子计算相应的概率pi； 2.2?? 按照均匀分布，在[0，1]中取一个随机数r； 2.3?? 如果 pir 则使ANi的状态为1， 否则使ANi的状态为0； 3 逐渐降低温度T，如果温度足够低，则算法结束。否则，重复2 Boltzmann机 Boltzmann机是多级循环网络，是Hopfield网的一种扩展。 神经元ANi实际输出状态oi=1的概率为： Boltzmann机的训练 神经元ANi在运行中状态发生了变化 Boltzmann机的训练 如果ΔΕi0，则应该选ANi输出为1，否则，应该选ANi输出为0。 ΔΕi的值越大，神经元ANi应该处于状态1的概率就应该越大。反之，ΔΕi的值越小，神经元ANi应该处于状态1的概率就应该越小。从而，oi=1的概率为： Boltzmann机的训练 处于状态a，b的概率Pa和Pb，对应于oi=1和oi=0，其它的神经元在a，b状态下不变 Pa=γpi Pb =γ（1-pi） Boltzmann机的训练 网络进行足够多次迭代后，处于某状态的概率与此状态下的能量和此时系统的温度有关。 由于高温时网络的各个状态出现的概率基本相同，这就给它逃离局部极小点提供了机会。 当系统的温度较低时，如果EaEb，则PaPb：网络处于较低能量状态的概率较大 Boltzmann机的训练 1986年，Hinton和Sejnowski训练方法 自由概率Pij-：没有输入时ANi和ANj同时处于激发状态的概率。 约束概率Pij+：加上输入后ANi和ANj同时处于激发状态的概率。 联接权修改量：Δwij=α( Pij+ - Pij-) Boltzmann机训练算法 1???计算约束概率 1.1 对样本集中每个样本，执行如下操作： 1.1.1 将样本加在网络上（输入向量及其对应的输出向量）； 1.1.2 让网络寻找平衡； 1.1.3 记录下所有神经元的状态； 1.2 计算对所有的样本，ANi和ANj的状态同时为1的概率Pij+； Boltzmann机训练算法 2 ?计算自由概率 2.1 从一个随机状态开始，不加输入、输出，让网络自由运行，并且在运行过程中多次纪录网络的状态； 2.2 对所有的ANi和ANj，计算它们的状态同时为1的概率Pij-； 3? 对权矩阵进行调整 Δwij=α(Pij+-Pij-) Lyapunov函数——能量函数 作为网络的稳定性度量 wijoioj：网络的一致性测度。 xjoj：神经元的输入和输出的一致性测度。 θjoj：神经元自身的稳定性的测度。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 统计Hopfield网与Boltzmann机 统计Hopfield网 在网络运行中，神经元状态与 “人工温度”确定的概率相关 网络运行模拟金属退火过程 pi：ANi的状态取1的概率 neti：ANi所获网络输入； θi：ANi的