人工神经网络 52页.pptVIP

人工神经网络 4.1 简介 人工神经网络（Artificial Neural Networks——ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。 ANN学习对于训练数据中的错误鲁棒性很好，且已经成功地应用到很多领域，例如视觉场景分析（interpreting visual scenes）、语音识别、以及机器人控制等。 人工神经网络的研究者分为两个团体。一个团体的目标是使用ANN研究和模拟生物学习过程。另一个团体的目标是获得高效的机器学习算法。我们主要学习如何获得高效的机器学习算法。 4.2神经网络表示 Pomerleau的ALVINN系统是ANN学习的一个典型实例，这个系统使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车。ANN的输入是一个30*32像素的网格，像素的亮度来自一个安装在车辆上的前向摄像机。ANN的输出是车辆行进的方向。这个ANN通过模仿分类驾驶时的操纵命令进行训练，训练过程大约5分钟。ALVINN用学习到的网络在高速公路上以70英里时速成功驾驶了90英里。 4.3 适合神经网络学习的问题 ANN学习非常适合于这样的问题： 训练集合为含有噪声的复杂传感器数据，例如来自摄像机和麦克风的数据。 也适合于需要较多符号表示的问题，例如决策树。 反向传播算法是最常用的ANN学习技术。它适合具有以下特征的问题： 1 实例是用很多“属性-值”对表示的 2 目标函数的输出可能是离散值、实数值或者由若干实属属性或离散属性组成的向量 3 训练数据可能包含错误 4 可容忍长时间的训练 5 可能需要快速求出目标函数值 6 人类能否理解学到的目标函数是不重要的 4.4 感知器 一种类型的ANN系统是以被称为感知器（perceptron）的单元为基础的，如图4-2所示。感知器以一个实数值向量作为输入，计算这些输入的线性组合，然后如果结果大于某个阈值就输出1，否则输出-1。 如果输入为x1到xn，那么感知器计算的输出为： 其中每一个wi是一个实数常量，或叫做权值（weight），用来决定输入xi对感知器输出的贡献率。请注意，常量(-w0)是一个阈值，它是为了使感知器输出1，输入的加权和必须超过的阈值。 为了简化表示，我们假想有一个附加的常量输入x0=1 ，那么我们就可以把上边的不等式写为 ，或以向量形式写为： 我们有时会把感知器函数写为： 其中， 4.4.1感知器的表征能力 我们可以把感知器看作是n维实例空间（即点空间）中的超平面决策面。对于超平面一侧的实例，感知器输出1，对于另一侧的实例输出-1，如图4-3所示。这个决策超平面方程是 。当然，像图4.3b正反样例集合不可能被任一超平面分割。那些可以被分割的称为线性可分（linearly separable）样例集合。 4.4.2 感知器训练法则 这里的学习任务是如何学习决定一个权向量，它可以使感知器对于给定的训练样例输出正确的1或-1。 主要有两种算法：感知器法则和delta法则 从随机的权值开始，然后反复地应用这个感知器到每个训练样例，只要它误分类样例就修改感知器的权值。重复这个过程，直到感知器正确分类所有的训练样例。每一步根据感知器训练法则（perceptron training rule）来修改权值，也就是根据下面的法则修改与输入xi对应的权wi: wi?wi+?wi 其中 ?wi =?(t-o)xi 这里t是当前训练样例的目标输出，o是感知器的输出，?是一个正的常数称为学习速率（learning rate）。学习速率的作用是缓和每一步调整权的程度。它通常被设为一个小的数值（例如0.1），而且有时会使其随着权调整次数的增加而衰减。 事实上可以证明，在有限次使用感知器训练法则后，上面的训练过程会收敛到一个能正确分类所有训练样例的权向量，前提是训练样例线性可分，并且使用了充分小的?（参见Minskey Papert 1969）。如果数据不是线性可分的，那么不能保证收敛。 Delta法则 delta法则的关键思想是使用梯度下降（gradient descent）来有哪些信誉好的足球投注网站可能权向量的假设空间，以找到最佳拟合训练样例的权向量。 最好把delta训练法则理解为训练一个无阈值的感知器，也就是一个线性单元（linear unit），它的输出o如下：