[工学]8 人工神经网络.ppt

2003.12.18 机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 机器学习 人工神经网络（ANN） 概述 人工神经网络提供了一种普遍且实用的方法从样例中学习值为实数、离散值或向量的函数 反向传播算法，使用梯度下降来调节网络参数以最佳拟合由输入-输出对组成的训练集合 人工神经网络对于训练数据中的错误健壮性很好 人工神经网络已被成功应用到很多领域，例如视觉场景分析，语音识别，机器人控制 简介 神经网络学习对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法 对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经网络是目前知道的最有效的学习方法 反向传播算法 成功例子，学习识别手写字符，学习识别口语，学习识别人脸 生物学动机 ANN受到生物学的启发，生物的学习系统是由相互连接的神经元组成的异常复杂的网络。 ANN由一系列简单的单元相互密集连接构成的，其中每一个单元有一定数量的实值输入，并产生单一的实数值输出 人脑的构成，大约有1011个神经元，平均每一个与其他104个相连 生物学动机（2） 神经元的活性通常被通向其他神经元的连接激活或抑制 最快的神经元转换时间比计算机慢很多，然而人脑能够以惊人的速度做出复杂度惊人的决策 很多人推测，生物神经系统的信息处理能力一定得益于对分布在大量神经元上的信息表示的高度并行处理 ANN系统的一个动机就是获得这种基于分布表示的高度并行算法 ANN并未模拟生物神经系统中的很多复杂特征 ANN的研究分为两个团体 使用ANN研究和模拟生物学习过程 获得高效的机器学习算法，不管这种算法是否反映了生物过程 适合神经网络学习的问题 训练集合为含有噪声的复杂传感器数据，例如来自摄像机和麦克风 需要较多符号表示的问题，例如决策树学习的任务，能够取得和决策树学习大体相当的结果 反向传播算法是最常用的ANN学习技术 反向传播算法适合问题的特征 实例是用很多“属性-值”对表示的 目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量 训练数据可能包含错误 可容忍长时间的训练 可能需要快速求出目标函数值 人类能否理解学到的目标函数是不重要的 感知器 一些ANN系统是以感知器为基础 感知器以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值，它会被”激发” 激励函数 激励函数需满足: 当提供了”正确的”输入时,单元是”激活”的(在+1附近),当提供了”错误的”输入时,单元是”非激活”的(在0附近) 非线性 感知器（2） 简化形式， 或写成向量形式 阈值激励函数可以用符号函数替换，则感知器函数写为 其中， 感知器（3） 学习一个感知器意味着选择权w0,…,wn的值。所以感知器学习要考虑的候选假设空间H就是所有可能的实数值权向量的集合 感知器的表征能力 可以把感知器看作是n维实例空间（即点空间）中的超平面决策面 对于超平面一侧的实例，感知器输出1，对于另一侧的实例，输出-1(或0) 这个决策超平面方程是 可以被某个超平面分割的样例集合，称为线性可分样例集合 感知器的表征能力（2） 单独的感知器可以用来表示很多布尔函数 表示m-of-n函数 感知器可以表示所有的原子布尔函数：与、或、与非、或非 然而，一些布尔函数无法用单一的感知器表示，例如异或 感知器的表征能力（3） 因为所有的布尔函数都可表示为基于原子函数的互连单元的某个网络，因此感知器网络可以表示所有的布尔函数。事实上，只需要两层深度的网络，比如表示析取范式 注意，要把一个AND感知器的输入求反只要简单地改变相应输入权的符号 因为感知器网络可以表示大量的函数，而单独的单元不能做到这一点，所以我们感兴趣的是学习感知器组成的多层网络 网络结构 无环网络(或前馈网络) 表示了当前输入的一个函数,除了权值自身,网络没有其他内部状态 如单层感知器和多层感知器 有环网络(或循环网络) 将其输出反馈回自己的输入 网络的激励层构成一个动力学系统,它可能到达一个稳定状态,或发生振荡,或进入混沌状态 能够支持短时间的记忆 前馈网络 输出是网络输入的一个函数 网络的权值就是函数的参数,通过调整权值,可以改变网络所表示的函数.这就是神经网络的学习过程. 单层前馈神经元网络(感知器) 每个权值只影响一个输出 除AND,OR 以及NOT外,还可以很简洁地表示许多”复杂”的布尔函数,如:多数函数(Wj=1,W0=n/2) 右图是两输入S型激励函数感知器单元的输出结果图 感知器训练法则 虽然我们的目的是学习由多个单元互连的网络，但我们还是要从如何学习单个感知器的权值开始 单个感知器的学习任务，决定一个权向量，它可以使感知器对于给定的训练样例输出正确的1或-1 我们主要考虑两种算法 感知器