elm网络结构择研究.pdf

Classified Index: CODE: 10075 U.D.C.: NO A Dissertation for the Degree of M. Engineering Research on Architecture Selection of ELM Networks Candidate: Shao Qingyan Supervisor: Prof. Wang Xizhao Prof. Zhai Junhai Academic Degree Applied for: Master of Engineering Specialty: Computer Applied Technology University: Hebei University Date of Oral Examination: May, 2013 摘 要 摘 要 极端学习机（ELM: Extreme Learning Machine ）是训练单隐含层前馈型神经网络 的学习算法，它不用迭代调整权值，隐含层的输入权值和偏置都是随机生成的，输出 权值是通过分析的方法确定的。ELM 具有学习速度快、泛化能力强等特点，已成功地 应用于生物信息处理、语音识别、人脸识别等各个领域中。但是在应用中如何选择一 个合适的网络结构是一个难点，也是神经网络研究的热点。 本文研究了 ELM 网络结构选择问题。本文主要贡献包括：(1) 将局部泛化误差模 型推广到用 ELM 训练的单隐含层前馈神经网络，给出了计算模型，提出了基于该模 型的 ELM 网络结构选择方法。（2 ）提出了基于相容依赖度的ELM 网络结构剪枝方法， 该方法用相容依赖度度量结点的重要性，从一个规模较大的网络开始，逐个去掉依赖 度比较小的隐含层结点，直到满足预定义的停止条件。（3 ）提出了基于结点敏感度的 ELM 网络结构剪枝算法，该方法的思想和第二种方法类似，只是用敏感度度量隐含层 结点的重要性。 本文做了大量实验对提出的相关算法进行评价，证明所提出的算法是有效和可行 的。最后，对研究工作中遇到的问题进行了分析和总结，并提出了建设性的解决方案。 关键词 神经网络 ELM 结构选择 局部泛化误差 相容粗糙集 I Abstract Abstract Extreme learning machine (ELM) is an efficient and practical learning algorithm used for training single-hidden-layer feed-forward neural networks (SLFNs). ELM randomly generates hidden nodes parameters and analytically determines the output weights without the iterative adjustment of these parameters. The main features of ELM include fast learning speed, the high generalization capacity, etc. ELM has