w第六章2012-Part2素材.ppt

第六章 机器学习 概述 实例学习 基于解释的学习 决策树学习 神经网络学习 基本原理－神经元模型 神经元 每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号，信号的强弱与脉冲频率成正比。 基本原理－神经元模型 转移函数： 神经细胞的输出对输入的反映。典型的转移函数是非线性的。 基本原理－网络结构 人脑神经网络： 人脑中约有１４０亿个神经细胞，根据Stubbz的估计这些细胞被安排在约１０００个主要模块内，每个模块上有上百个神经网络，每个网络约有１０万个神经细胞。 基本原理－网络模型 前馈网络：每层只与前层相联接 基本原理－网络模型 输入输出有反馈的前馈网络：输出层上存在一个反馈回路，将信号反馈到输入层。而网络本身还是前馈型的 基本原理－网络模型 前馈内层互联网络：外部看还是一个前向网络，内部有很多自组织网络在层内互联着。 基本原理－网络模型 反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络 反馈型局部联接网络：特例，每个神经元的输出只与其周围的神经元相连，形成反馈网络。 基本原理 －网络分类 分类 前馈型； 反馈型； 自组织竞争； 随机网络 其它 基本原理－基本属性 基本属性： 非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。 非局域性： 一个神经网络通常由多个神经元广泛联接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互联接所决定。通过单元之间的大量联接模拟大脑的非局域性。联想记忆是非局域性的典型例子。 基本原理－ 基本属性 非定常性： 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 非凸性： 一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。 基本原理－优缺点 评价 优点： 并行性；分布存储；容错性；学习能力 缺点： 不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。 前馈型神经网 单层感知器： 基本原理，结构简单。很少在实际应用中出现。采用阶跃函数作为传递函数。从２维空间可以很显然的看出其分类功能，但Minsky等揭示的致命弱点也一目了然。关键是学习算法及网络设计方法 前馈型神经网－单层感知器 例子：2维空间 前馈型神经网 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 BP神经网络结构 三层BP网络 BP神经网络模型 激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP网络的标准学习算法-算法思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 前馈型神经网 采用BP算法学习时要求传递函数为有界连续可微函数如sigmoid函数。因此，网络可以用一个连续的超曲面（而不仅仅是一个超平面）来完成划分输入样本空间的功能。 先求误差，用梯度下降的方法求误差的传递。从后往前算。 前馈型神经网 n层网络可以以n-1个超曲面构成一个复合曲面，弥补了单层感知器的缺陷。基于BP算法，依据大量样本通过逐步调整神经元之间的联接权重来构造网络。理论上，多层前馈网络在不考虑结果规模的前提下，可以模拟任意的输出函数。 BP神经网络应用 例2-3，下表