多层感知器的训练算法.pdf

多层感知器的训练算法 齐平 辽宁工程技术大学土木建筑工程学院，辽宁阜新 (123000) E-mail: qipingws@163.com 摘 要：本文着重介绍的在人工智能中的多层感知器(MLP)是什么，是怎样构建的。多层感 知器和单层感知器一样，是一种人工神经网络。单层感知器只能处理线形问题,对复杂的问 题只能粗略进行近似表示。多层感知器是建立在单层感知器的基础上的，它的结构基本类似 于一套级联的感知器，对输入层和输出层之间的关系进行研究。 本文侧重描述多层感知器（MLP）的逆向传递和训练过程，并给出了相应的公式和训练算法。 以便了解在人工智能中，它的训练学习过程。为了简单起见用，本文中的算法是以伪代码的 方式加以描述，这样，就可以用几乎任何一门语言实现它们。 关键词：神经网络，多层感知器，算法 中图分类号：tp18 1. 引 言 多层感知器(MLP)是一种人工神经网络,它使用输入与输出之间的多层加权连接.MLP 的 结构基本类似于一套级联的感知器,其中每一格处理单元都有一格相对复杂的输出函数,从而 增强网络的性能. [1] 多层感知器是建立在单层感知器的基础上的. 单层感知器只能处理线形问题,而对复杂的问题只能粗略进行近似表示.多层感知器与单层感 知器有两个主要的区别: 1. 明确区别:多层感知器存在中间层,它们增加了感知器近似表示的能力. 2. 不明确区别:对于中间层在系统中发挥的作用是必不可少的,这涉及到使用更加复杂的激 励函数. 2. 多层感知器（MLP） 2.1 拓扑结构 拓扑就是神经网络中处理单元的拓扑,以及它们之间如何连接在一起。一个 MLP 的拓扑 被称为前馈（如图 1），由于不存在后向的连接——也叫做回归连接。通常信息直接从输入 流向输出，而 MLP 的重要结构就是改善中间层。 - 1 - Hidden Layer Output Layer X1 y1 X2 X3 y2 X4 Inputs Hidden Units Outputs （输入） （隐藏层） （输出） 图 1 一个 MLP 的拓扑结构 2.2 中间层 虽然普遍情况下中间层只有一层，但理论上可以存在任意数量的中间层。这些中间层有 时是被隐含的，并不直接连接到输出。 在某些情况下，在输入变量之间存在许多相互依赖的关系，并且问题的复杂度很高。这 时，一个附加的层可以有助于减少进行适当的近似表示所需要的总的权数。在实践中，在任 何拓扑中都很少用到 2 个以上的隐含层。具有 2 个中间层的感知器几乎可以表示