一种新型学习算法极限学习机当前研究.docx

大连大学论文题目：一种新型学习算法极限学习机当前研究姓 名： 邹全义 学 科、专 业： 计算机科学与技术年 级： 2015级 日 期： 2016年7月 摘 要机器学习是当今大数据时代的核心研究方向，机器学习的研究成果被广泛应用到模式识别、计算机视觉、数据挖掘、控制论等领域当中，并渗透到人们日常生活的方方面面当中。而在机器学习的研究当中，预测、分类的研究占据着重要的地位，预测、分类模型的性能往往是一个应用成果与否的关键。数据挖掘，如支持向量机（SVM)、极限学习机（ELM)等，的潜力已经成为了当今机器学习的主流研究方向。传统前馈神经网络采用梯度下降的迭代算法去调整权重参数，具有明显的缺陷；（1）学习速度缓慢，从而计算时间代价增大；（2）学习率难以确定且易陷入局部最小值；（3）易出现过度训练，引起泛化性能下降。这些缺点制约迭代算法的前馈神经网络的广泛应用。针对这些问题，近几年来，许多学者研究极限学习(ELM)算法，该算法仅通过一步计算即可解析求出学习网络的输出权值，同迭代算法相比，极限学习机(ELM)算法提高了神经网络的学习速度。关键词：神经网络；极限学习机；分类；回归；数据挖掘目 录摘 要1目 录21. ELM 算法概述33.当前ELM的研究状况64.几种ELM结构选择方式的对比8总结11参考文献121. ELM 算法概述 虽然神经网络研究经过五十多年的发展，已经取得了诸多显着的理论成果，但由于大规模系统中大数据量，高维度的数据中包含的高不确定性，都使得神经网络辨识速度缓慢而难于满足实际要求。例如在数据挖掘、智能控制领域，使用神经网络控制方法虽然可以辨识高度复杂和非线性系统，解决被控对象复杂和高不确定时的建模问题，但神经网络的实时性是非常差，学习时间过久。此外，对于大中型数据集的系统辨识和分类、回归问题，传统神经网络方法如BP网络、RBF网络、SVM算法等不仅需要大量的训练时间，还会出现“过饱和”、“假饱和”和最优化隐含层节点数目难以确定等各种问题。2004年南洋理工大学Huang G.B.教授等人提出了ELM算法。极限学习机（ELM Extreme Learning Machine)是一种快速的单隐含层神经网络（SLFN）[1,2]。ELM神经网络和BP神经网络、RBF神经网络一样，都是SLFN(single-hidden layer feed forward neural network)。近几年来相继提出了基于极限学习的多种神经网络学习算法，将神经网络研究又推进了一步。在传统的人工神经网络中，网络的隐含层节点参数是通过一定的迭代算法进行多次优化并最终确定的。这些迭代步骤往往会使参数的训练过程占用大量的时间，并且，例如BP算法很容易产生局部最优解，从而使网络训练过程的效率得不到保证，同时迭代耗时比较多。图1.1为增强构建网络的整体性能，ELM神经网络的隐含层到输出层的之间的连接不需要迭代，该算法的特点是在网络参数的确定过程中，隐含层节点参数随机选取，在训练过程中无需调节，只需要设置隐含层神经元的个数，便可以获得唯一的最优解;而网络的外权（即输出权值）是通过最小化平方损失函数得到的最小二乘解，最终化归成求解一个矩阵的 Moore-Penrose 广义逆[3]。这样网络参数的确定过程中无需任何迭代步骤，从而大大降低了网络参数的调节时间。与传统的训练方法相比，该方法具有学习速度快优点，可以采用最小二乘原理求出[4]。为数输入数据为输出数据，表示第个隐含层的参数，为第i个隐含层的启动函数， 是第i隐含层都输出层的连接权值，针对于训练集（X，Y）具有以下关系；(2.1)是训练集中第i样本误差即 (2.2)(2.3) ELM算法:Input:给定训练样本集{X，Y}层输出函数和隐含层节点个数L.随机生成隐含层的参数；计算隐含层输出矩阵;Output:网络外权；其中,加法型隐含层节点的单隐含层神经网络的启动函数可以选作任意有界非常数分段连续函数;而对于RBF型隐含层节点的单隐含层神经网络,启动函数可以选作任意分段连续可积函数。数据压缩、特征学习、聚类、回归和分类是机器学习和机器智能的基础。极限学习机的目标实现这五种基本学习操作[5]。2.2图近年来，极限学习机（Extreme Learning Machine, ELM）作为一种新兴的机器学习方法，在全世界许多研究者的不断研究下，已经成为了一个热门研究方向。极限学习机主要有以下四个特点：极限学习理论探讨了神经网络、机器学习领域悬而从未决的问题：在学习过程中隐含层节点数目，神经元之间的权值是否需要调整。与传统神经网络有所不同，在理论父母已经证明，对于ELM神经网络和学习算法，隐含层节点，神经元不需要迭代式的调整，而早期工作并没有提供随机隐含层节点前馈神经网络