现代优化计算方法研究报告.ppt

第十章 现代优化计算方法 §10.1 引言 §10.2 计算复杂性和启发式算法 §10.2 计算复杂性和启发式算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.3 模拟退火优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.4 遗传优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.5 神经网络优化算法 §10.6 混合优化算法 §10.6 混合优化算法 §10.6 混合优化算法 §10.6 混合优化算法 §10.6 混合优化算法 §10.6 混合优化算法 一. 基本概念——生物神经网络 神经网络由相互关联的神经元组成，每个神经元由晶枝、内核和轴突组成。 神经元通过晶枝接受信息，通过内核进行信息处理，再通过轴突及其终端的突触将信息传递给其他的神经元。 生物学中神经网络简图 “兴奋性”的神经元：神经元的晶枝接受兴奋性信息累计超出某一值时，神经元被激活并传递出一个信息给其他神经元。 “抑制性”的神经元：神经元虽接受到了兴奋性信息，但未向外传递信息。 一. 基本概念——人工神经网络 假设一个神经元通过晶枝接受到 n 个信息x1，x2，···，xn 。ωi 表示第i 个晶枝接受到信息的感知能力。 输出函数 f (z) 定义为： 认知网络 其中：θ为阀值； Φ(?)称为作用函数或传递函数，为非线性的单调增函数，通常为符号函数（阀函数） 或Sigmoid函数（S形函数） 一. 基本概念——人工神经网络 有指导学习：已知一组正确的输入和输出结果的条件下，调整并确定权系数ωi 的方法。 无监督学习：在只有输入数据而不知输出结果的前提下确定权系数的方法。 人工神经网络通常分为前向型和反馈型 前向型神经网络的计算分为学习阶段和应用阶段 二. 人工神经网络模型和学习算法 多层前向型神经网络 —— 由输入层、输出层和一个或若干个隐含层组成。 二. 人工神经网络模型和学习算法 多层网络的学习问题一般采用反向传播算法，即BP（Back Propagation）算法，因而又称它为BP网络。 二. 人工神经网络模型和学习算法 设网络有L层（图中L＝2，即为2层网络），Nl为第l层的神经元的个数(l=0,1,2,…,L)。l＝L为输出层，神经元数为NL；l＝0为输入层，神经元数为N0 。 二. 人工神经网络模型和学习算法 对于每一个0层的输入 (i=0,1,2,…, N0)有N个样本，第k个样本表示 为 (i=0,1,2,…, N0，k=0,1,2,…, N)。设第l－1层第i个单元的输出为 ，第l层第j个单元的输入为 ，它们的连接权系数值为 ， 为第l层第j个神经元的阀值，各神经元采用S形函数，则 二. 人工神经网络模型和学习算法 BP学习的目的就是通过调整阀值和连接权系数值，使得对所有输入样本的能量函数达到最小。 对第k个输入样本 的能量函数为： 对所有输入样本 (k=0,1,2,…, N)的能量函数为： 其中： 是最后一层（即L层）的实际输出 是期望输出 (p=0,1,2,···, NL，k=0,1,2, ···, N) 二. 人工神经网络模型和学习算法 BP学习的规则采用梯度下降法，即 ： 其中： 二. 人工神经网络模型和学习算法 S.1 随机确定初始权 ； S.2 用学习数据 计算期望输出 ； S.3 工作阶段（正向传播过程）：对每一组数据用神经网络计算实际输出 ； S.4 学习阶段（反向传播过程）：反向修正权值 ，直至学习完所有数据。