人工神经网络算法知识讲稿.ppt

6.5 随机神经网络 玻尔兹曼机 玻尔兹曼机是一种结合模拟退火算法的神经网络模型。 玻尔兹曼机的拓扑结构 6.5 随机神经网络 玻尔兹曼机 网络由输入层（结点数为n）、隐蔽层（结点数为q）及输出层（结点数为m）组成。 网络是异联想模式匹配器，能够存储任意二进制模式对集合{(A1,C1), (A2,C2),…, (Ap,Cp)}，其中 6.5 随机神经网络 玻尔兹曼机 玻尔兹曼机拓扑结构与一般前馈网络相似，其运行过程也与BP网络相似。 玻尔兹曼机与BP网络的三点差别 在网络结构上，玻尔兹曼机由输入层结点到隐蔽层结点的连接权，以及从隐蔽层结点到输出层结点的连接权都是对称的，即 而一般BP网络无此要求。 6.3 前馈神经网络 6.3.2 误差反传训练算法 BP训练算法存在的问题 局部最小 局部最小点示意图 6.3 前馈神经网络 6.3.2 误差反传训练算法 BP训练算法存在的问题 局部最小 初始随机加权的大小对局部最小的影响很大。如果这些加权太大，可能一开始就使网络处于S型函数的饱和区，系统就很有可能陷入局部最小。 一般来说，要避免局部最小点可采用统计训练的方法。 随机神经网络 6.3 前馈神经网络 6.3.2 误差反传训练算法 BP训练算法存在的问题 阶距（训练速率系数η）大小 如果η选得太小，收敛会很慢； 如果η选得太大，可能出现连续不稳定现象。 需按照实验和经验确定η。 可取η值为0.01~1 Wasserman曾提出自适应的阶距算法，在训练过程中自动调节阶距的大小。 6.3 前馈神经网络 6.3.2 误差反传训练算法 讨论：BP训练算法的改进 附加冲量项 该方法是为每个加权调节量加上一个正比于前次变化量的值，即每次加权调节完成后，记住该调节量，以便在下面的调节中使用。 附加有冲量项的加权调节公式为： 其中α为冲量系数 6.3 前馈神经网络 6.3.2 误差反传训练算法 讨论：BP训练算法的改进 附加冲量项 加入冲量项可起到缓冲平滑的作用，若系统进入误差函数面的平坦区，则δq-0，于是 通过调整α可使调节尽快逃离饱和区。 6.3 前馈神经网络 6.3.2 误差反传训练算法 讨论：BP训练算法的改进 改进误差函数 前面定义的误差函数是二次项函数，但这不是唯一的选择，可以通过选用其它的函数来代替。 所选函数应在Tj=yj时达到最小，此时导出的BP算法除输出层的δj不同外，其它各层与基本BP算法相似。 例如，可选如下误差函数以克服网络麻痹现象： 6.3 前馈神经网络 6.3.2 误差反传训练算法 讨论：BP训练算法的改进 自适应参数变化 调节参数的准则是检查某特定加权的修正是否确实降低了误差函数。 如果不是，而是产生了过调，则η应该减小。 如果连续几部迭代都降低了误差函数，则表明所选的η值可能太保守了，应将η增加一个量。 经验表明，η的增加量最好是一个常数，但η的减小应按几何规律减少。 6.3 前馈神经网络 6.3.2 误差反传训练算法 讨论：BP训练算法的改进 自适应参数变化 例如，一种自适应关系可为： 其中，a和b是适当的常数 6.3 前馈神经网络 6.3.3 小结 前馈网络是最早开发的人工神经网络，由于历史条件的限制，早期研究的多是单层网络（感知器）或类似的网络，虽然有过成功的应用，但其功能表示能力是有限的。 为克服单层网络的限制，开发了多层网络，其中最典型的训练算法就是BP训练算法，它使多层网络的应用范围大大扩展。 BP训练算法也存在一些不大令人满意的地方，如在训练过程中，有时会陷入局部最小，或收敛太慢，甚至出现“麻痹现象”等。 克服这些问题也是人工神经网络的研究问题之一。 6.4 反馈神经网络 按照神经网络运行过程中的信息流向分类： 前馈网络 通过许多具有简单处理能力的神经元的复合作用，使整个网络具有复杂的非线性映射能力。 反馈网络 通过网络神经元状态的变迁，最终稳定于某一状态，得到联想存储或神经计算的结果。 典型的（应用广泛的）反馈神经网络 Hopfield网络 6.4 反馈神经网络 Hopfield网络（离散型） 网络拓扑结构及描述 6.4 反馈神经网络 Hopfield网络（离散型） 网络运行方式 Hopfield网络为一层结构的反馈网络，能处理双极型离散数据（即输入x属于{-1, +1}）或二进制数据（即输入x属于{0, +1}）。 当网络经过适当训练后，可以认为网络处于等待工作状态。 对网络给定初始输入x时，网络处于特定的初始状态。由此初始状态开始运行，可得到网络的输出（即网络的下一个状态）。 这个输出状态通过反馈连接送到网络的输入端，作为网络下一阶段运行的输入信号。该信号可与初始输入信号x不同。 6.4 反馈神经网络 Hopfield网络（离散型） 网络运行方式 由这个新