机器学习(4)人工神经网络.ppt

2003.12.18 机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 机器学习 第4章 人工神经网络（ANN） 概述 人工神经网络提供了一种普遍且实用的方法从样例中学习值为实数、离散值或向量的函数 反向传播算法，使用梯度下降来调节网络参数以最佳拟合由输入-输出对组成的训练集合 人工神经网络对于训练数据中的错误健壮性很好 人工神经网络已被成功应用到很多领域，例如视觉场景分析，语音识别，机器人控制 简介 神经网络学习对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法 对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经网络是目前知道的最有效的学习方法 反向传播算法 成功例子，学习识别手写字符，学习识别口语，学习识别人脸 生物学动机 ANN受到生物学的启发，生物的学习系统是由相互连接的神经元组成的异常复杂的网络。 ANN由一系列简单的单元相互密集连接构成的，其中每一个单元有一定数量的实值输入，并产生单一的实数值输出 人脑的构成，大约有1011个神经元，平均每一个与其他104个相连 神经元的活性通常被通向其他神经元的连接激活或抑制 最快的神经元转换时间比计算机慢很多，然而人脑能够以惊人的速度做出复杂度惊人的决策 很多人推测，生物神经系统的信息处理能力一定得益于对分布在大量神经元上的信息表示的高度并行处理 生物学动机（2） ANN系统的一个动机就是获得这种基于分布表示的高度并行算法 ANN并未模拟生物神经系统中的很多复杂特征 ANN的研究分为两个团体 使用ANN研究和模拟生物学习过程 获得高效的机器学习算法，不管这种算法是否反映了生物过程 本书属于后一个研究团体 神经网络表示 ALVINN系统 Pomerleau 1993 使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车 ANN的输入是一个30x32像素的网格，输出是车辆行进的方向 每个节点对应一个网络单元的输出，而从下方进入节点的实线为其输入 隐藏单元，输出仅在网络内部，不是整个网络输出的一部分 每个输出单元对应一个特定的驾驶方向，这些单元的输出决定哪一个方向是被最强烈推荐的 神经网络表示（2） ALVINN是很多ANN的典型结构，所有单元分层互连形成一个有向无环图 通常，ANN图结构可以有很多种类型 无环或有环 有向或无向 本章讨论以反向传播算法为基础的ANN方法 反向传播算法假定网络是一个固定结构，对应一个有向图，可能包含环 ANN学习就是为图中每一条边选取权值 大多数实际应用与ALVINN相似 适合神经网络学习的问题 训练集合为含有噪声的复杂传感器数据，例如来自摄像机和麦克风 需要较多符号表示的问题，例如决策树学习的任务，能够取得和决策树学习大体相当的结果 反向传播算法是最常用的ANN学习技术 反向传播算法适合问题的特征 实例是用很多“属性-值”对表示的 目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量 训练数据可能包含错误 可容忍长时间的训练 可能需要快速求出目标函数值 人类能否理解学到的目标函数是不重要的 本章余后部分提纲 讨论训练单个单元的学习算法 介绍组成神经网络的几种主要单元 感知器（perceptron） 线性单元（liner unit） sigmoid单元（sigmoid unit） 给出训练多层网络的反向传播算法 考虑几个一般性问题 ANN的表征能力 假设空间有哪些信誉好的足球投注网站的本质特征 过度拟合问题 反向传播算法的变体 例子，利用反向传播算法训练识别人脸的ANN 感知器 一种类型的ANN系统是以感知器为基础 感知器以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值，就输出1，否则输出-1 其中每个wi是一个实数常量，或叫做权值，用来决定输入xi对感知器输出的贡献率。特别地，-w0是阈值。 感知器（2） 两种简化形式，附加一个常量输入x0=1，前面的不等式写成 或写成向量形式 为了简短起见，把感知器函数写为 其中， 感知器（3） 学习一个感知器意味着选择权w0,…,wn的值。所以感知器学习要考虑的候选假设空间H就是所有可能的实数值权向量的集合 感知器的表征能力 可以把感知器看作是n维实例空间（即点空间）中的超平面决策面 对于超平面一侧的实例，感知器输出1，对于另一侧的实例，输出-1 这个决策超平面方程是 可以被某个超平面分割的样例集合，称为线性可分样例集合 感知器的表征能力（2） 单独的感知器可以用来表示很多布尔函数 表示m-of-n函数 感知器可以表示所有的原子布尔函数：与、或、与非、或非 然而，一些布尔函数无法用单一的感知器表示，例如异或 感知器的表征能力（3） 因为所有的布尔函数都可表示为基于原子函数的互连单元的某个网络，因此感知器网