6神经网络优化学习10-11.ppt

第六章：神经网络的优化学习 6.1　感知器学习规则 6.2　Widrow-Hoff学习算法 6.3　反向传播(BP)学习算法 第六章：神经网络的优化学习 第六章：神经网络的优化学习 6.1 感知器学习规则 6.1.1 感知器的结构 单神经元感知器 单神经元感知器 单神经元感知器 多神经元感知器 多神经元感知器 6.1.2 感知器的学习 6.1.2 感知器的学习 单神经元感知器的学习 单神经元感知器的学习 单神经元感知器的学习 单神经元感知器的学习 单神经元感知器的学习 单神经元感知器的学习 单神经元感知器的学习 单神经元感知器的学习 多神经元感知器的学习 多神经元感知器的学习 多层感知器 多层感知器 多层感知器 6.2　Widrow-Hoff学习算法 6.2.1 ADALINE网络的结构 6.2.1 ADALINE网络的结构 6.2.2 LMS学习算法 6.2.2 LMS学习算法 6.2.2 LMS学习算法 6.2.2 LMS学习算法 6.2.2 LMS学习算法 6.2.2 LMS学习算法 6.2.2 LMS学习算法 6.2.2 LMS学习算法 6.2.3 LMS学习算法收敛性分析 6.2.3 LMS学习算法收敛性分析 6.2.3 LMS学习算法收敛性分析 6.2.3 LMS学习算法收敛性分析 6.3 反向传播(BP)学习算法 6.3.1 多层前向神经网络 6.3.1 多层前向神经网络 6.3.2 BP学习算法 神经网络的前向计算 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 误差反向传播和连接权的调整 BP学习算法计算过程 BP学习算法计算过程 BP学习算法计算过程 6.3.3 BP学习算法的改进 收敛速度慢 陷入局部极小值 附加动量法 自适应学习速率 弹性BP学习算法 弹性BP学习算法 6.3.3 BP学习算法的改进 定义误差 网络的均方误差 进一步，有 若令　　　 ，　　 　 ，　　 　　 时，上式改写为 相关系数，　相关矩阵。 假设　正定，则 有且仅有一个强极小点 性能函数　　 的梯度 方法1：利用* *直接计算。 方法2：利用*使用最速下降法迭代计算。 方法3：对梯度进行估计，利用*使用最速下降法迭代计算。 * * * 均方误差估计 梯度估计 其中 具有固定的学习速度的最速下降算法 　　　被　　　 代替，有 或写为 上式即最小均方(LMS)算法，又称Widrow-Hoff学习算法。 对多神经元网络，第 i 个神经元权值迭代公式 其中　　　　　　　　　，　　是第 i 个神经元在第 k 次迭代时的偏差。第 i 个神经元的阈值迭代公式 多神经元ADALINE网络的LMS学习算法 其中 LMS迭代学习算法实质是如何调整　值，使得　趋向于　。 现在关心的是如果按照上式对　进行迭代，LMS算法能否收敛，且权值向量 　能否收敛于　　？ 　　被　　　　　　 代替 　　独立于　　 取　　　　　　 ，　　　　　　　　 即 求数学期望 　　　　 所有特征值落入单位圆内，系统趋于稳定。即 其中 是　的特征值。由于R正定, 其特征值实数且大于零，所以 迭代参数的稳态解　　　 即 LMS算法不仅收敛，而且能够收敛到性能函数的极小值上。 LMS学习算法非常重要: 1它是多层网络中BP算法的先驱; 2它被广泛使用于现在的信号处理应用中。 感知器学习规则和LMS学习算法，只能用来训练单层神经网络。单层神经网络故有的局限性就是只能解线性可分的分类问题。 Rosenblatt和Widrow提出了采用多层神经网络的解决方法，但没有找到训练多层神经网络合适的学习算法。 1974, Paul Werboss, 训练多层神经网络的反向传播算法，该算法未受到重视。 20世纪80年代中期， David Rumelhart和James McClelland， 训练多层神经网络的BP学习算法（《并行分布式处理》） ，反向传播算法开始受到重视。 输入层: n个神经元, 线性函数作用函数。 隐含层: l个神经元，非线性作用函数。 输出层: m个神经元,非线性作用函数。 BP神经网络：基于误差反向传播学习算法的前向神经网络。 单层感知器或ADALINE网络: 解决线性可分的模式分类问题。 多层神经网络: 解决不是线性可分的模式分类问题，而且它能够逼近任意非线性函数。在控制领域中得到青睐，即可