机器学习神经网络的论文.docVIP

机器学习网络系统论文 班级：10级自动化（1班） 姓名：才让加 学号：1020301025 摘要： 神经网络是计算机智能和机器学习研究、开发和应用最活跃的分支之一。本文首先通过对误差回传神经网络(BPNN)和径向基函数神经网络(RBFNN)的知识进行学习，并且对各自的原理进行了简单的分析，最后在各自的功能上进行了比较。 人工神经网络（Artificial Neural Networks）是参照生物神经网络发展起来的模拟人脑生物过程的人工智能技术。它是由大量的神经元互连形成的一种非线性系统。因此，神经网络根据神经元互连模式可分为前向网络（前馈网络）和反馈网络。经过十几年的发展，神经网络理论在模式识别、人工智能、控制与优化、空间科学、通讯等应用领域取得了令人瞩目的成就。 BP网络和RBFNN网络的分析与比较 1 BP网络原理 BP神经网络也称为误差后向传播神经网络，它是一种无反馈的前向网络，是神经网络模型中使用最广泛的一类。BP神经网络是典型的多层结构，分为输入层、隐层和输出层，层与层之间多采用全互联方式，同一层单元之间不存在相互连接接。 1.1 Sigmoid阈值单元 图 1 Sigmoid单元先计算它的输入的线性组合，然后应用到一个阈值上，阈值输出是输入的连续函数 其中 1.2 反向传播算法 BP网络可以有多层，我们采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方，首先定义网络输出的总误差： 其中：outputs是网络输出单元的集合，tkd和okd是与训练样例d和第k个输出单元相关的输出值。 1.2.1 随机梯度下降法 两层sigmoid单元的前馈网络的反向传播算法如下： BackPropagation(training_examples, (, nin, nout, nhidden) training_examples是序偶, 的集合，是网络输入值向量，是目标输出值。(是学习速率，nin是网络输入的数量，nhidden是隐藏层单元数，nout是输出单元数，从单元i到单元j的输入表示为xji，单元i到单元j的权值表示为wji。 创建具有nin个输入，nhidden个隐藏，nout个输出单元的网络 初始化所有的网络权值为小的随机值 在遇到终止条件前 对于训练样例training_examples中的每个 , : 把输入沿网络前向传播 把实例输入网络，并计算网络中每个单元u的输出ou , 使误差沿网络反向传播 对于网络每个输出单元k,计算它的误差项(k (k(ok(1-ok)(tk-ok) 对于网络每个隐藏单元h，计算它的误差项(h (h(oh(1-oh) 更新每个网络权值wji wji(wji+(wji， 其中(wji=((jxji 1.2.2 算法推导 随机梯度下降算法迭代处理训练样例，每次处理一个，对于每个训练样例d，利用关于这个样例的误差Ed的梯度修改权值。 符号说明如下： xji，单元j的第i个输入 wji，与xji相关联的权值 netj，单元j的输入的加权和 oj，单元j计算出的输出 tj，单元j的目标输出 (，sigmoid函数 outputs，网络最后一层的输出单元的集合 Downstream(j)，单元j的输出到达的单元的集合 分情况讨论 　的推导 Case1: 输出单元 Case2: 隐藏单元 1.2.3 收敛性和局部极小值 对于多层网络，误差曲面可能含有多个不同的局部极小值，梯度下降可能陷入这些局部极小值中的任何一个 对于多层网络，反向传播算法仅能保证收敛到误差E的某个局部极小值，不一定收敛到全局最小误差 尽管缺乏对收敛到全局最小误差的保证，反向传播算法在实践中仍是非常有效的函数逼近算法 2 径向基函数神经网络(RBFNN) 径向基函数（radialbasisfunction，RBF）方法是在高维空间进行插值的一种技术。Broommhead和 Lowe在1998率先使用该技术，提出了神经网络学习的一种新手段。那就是RBFNN，是以径向基函数作为隐单元的‘基’构成隐含层空间，隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内，使得在低维线性不可分问题变成在高维空间内线性可分。它是一种局部逼近网络，对于每个训练样本，它只需对少量的权值和阀值进行修正具有学习速度快，收敛性好，实时性强。 2.1 RBF神经元模型 图2 RBF神经元模型 2.2 RBF神经网络的结构 径向基函数神经网络的构成包括三层：第一层为输入层，第二层为隐含层，第三层为输出层。其网络拓扑结构如3图所示。RBF网络从输入空间到隐含