11.神经网络.ppt

* 多层网络中的爬山算法 爬山算法用于学习多层网络。 然而，为了使用梯度下降算法，我们需要选择这样的单元，它的输出是输入的非线性函数，并且输出是输入的可微函数。 标准的阈值函数在阈值点不可微 netj oi Tj 0 1 * 梯度下降 多层网络目标是最小化网络输出值和目标值之间的误差平方: 其中D 是训练样例集，K 是网络输出单元的集合， tkd and okd 是与训练样例d 和第k个输出单元相关的输出值. 多层网络中使用sigmoid单元，其输出为： 其中， Sigmoid函数有一个有用特征，就是它的导数很容易用它的输出表示： * 反向传播学习规则 反向传播更新网络权值规则： 其中，η是学习速率；tj 是单元ｊ的目标输出；δj 是单元ｊ的误差项 * 误差反向传播 首先，计算输出单元的误差并使用反向传播更新权值规则更新网络顶层权值 output hidden input 网络输出: oj=0.2 目标输出: tj=1.0 误差δj = oj(1–oj)(tj–oj)= 0.2(1–0.2)(1–0.2)=0.128 更新单元j的权值 * 误差反向传播 其次，根据输出单元误差计算隐藏单元的误差. 对受隐藏单元j影响的每一个单元的误差 进行加权求和，每个误差 权值为Wkj (是从隐藏单元j到输出单元k的权值) output hidden input * 误差反向传播 最后，根据隐藏单元的误差更新网络底层权值. output hidden input 更新单元j的权值 * 反向传播训练算法 创建一个具有输入层、隐藏层和输出层的三层网络 初始化所有的网络权值为小的随机值. 在遇到终止条件前（所有的训练样例产生正确的输出；平均平方误差停止下降等）： For 每个训练样例 d, do: 根据 d的输入计算网络输出 对于 d计算网络输出和目标输出的误差 根据反向传播学习规则更新权值 * 反向传播算法收敛性 在多层网络中，误差可能有多个局部极小值，这意味着梯度下降仅能保证收敛到局部极小值，而未必能得到全局最小的误差. 尽管有这个障碍，反向传播算法在许多实际应用中都产生了很好的结果。 * 神经网络学习概述 神经网络学习的适用问题 人工神经元 感知器模型及其学习算法 多层网络和反向传播算法 反向传播算法的说明 实例分析 OUTLINE * 前馈网络的表征能力 布尔函数: 任何布尔函数可以被具有两层单元的网络准确表示，前提是隐层具有足够多的隐藏单元. 连续函数: 每个有界的连续函数可以由一个两层的网络以任意小的误差逼近 这个理论适用于在隐藏层使用sigmoid单元、在输出层使用（非阈值的）线性单元的网络. 任意函数: 任意函数可以被一个具有三层单元的网络以任意精度逼近。输出层使用线性单元，两个隐藏层使用sigmoid单元。 这些结论表明有限深度的前馈网络为反向传播算法提供了非常有表征力的假设空间 * 隐藏层表示 反向传播算法的突出优势在于他能够在网络内部的隐藏层发现有用的中间表示。因为训练样例仅包含网络输入和输出，权值调节的过程可以自由的设置权值，来定义任何隐藏单元表示，这些隐藏单元表示在使误差平方达到最小化时最有效。 这能够引导反向传播算法定义新的隐藏层特征，这些特征在输入中没有明确表示出来，但却能捕捉输入实例中与学习目标函数最相关的特征。 　　加入隐藏层的好处在于它扩大了网络能够表示的假设空间 * 神经网络学习概述 神经网络学习的适用问题 人工神经元 感知器模型及其学习算法 多层网络和反向传播算法 反向传播算法的说明 实例分析 OUTLINE * 人工神经网络示例１ ALVINN(1989) 用学习到的人工神经网络在高速公路上以70英里时速成功地驾驶了90英里。 * 人工神经网络示例１ ALVINN系统 使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车 ANN的输入是一个30x32像素的网格，输出是车辆行进的方向 每个节点对应一个网络单元的输出，而从下方进入节点的实线为其输入 隐藏单元，输出仅在网络内部，不是整个网络输出的一部分 每个输出单元对应一个特定的驾驶方向，这些单元的输出决定哪一个方向是被最强烈推荐的 * 人工神经网络示例１ 训练样例 注视人类驾驶时录制的一系列图像和驾驶指令 性能标准 平均无差错行驶里程 * 人工神经网络示例２ 问题描述：当有顾客来到卡拉OK厅唱歌的时候，是否让顾客等待包间的问题 规定如下属性可用于描述该领域内的实例： (1) Others（其他地点）：附近是否有其他卡拉OK厅。 (2) WaitCondition（等候条件）：供顾客等候的地方是否舒适 (3) Weekend（周末）：若是周六或周日则为真。 (4) Consumers（顾客）：店中有多少顾