神经网络最小资源分配网络.pptVIP

神经网络及其应用简介 串行学习最小资源分配网络（MRAN）的初步研究 1.引言 计算机技术的发展，使其已经具有很强的计算和信息处理能力，但是毕竟它只能按人事先编织好的程序机械得执行，缺乏向环境学习、适应环境的能力，所以它对于模式识别、感知和在复杂环境中做决策的能力远远比如人。 早在20世纪初，人们就已经知道人脑的工作方式和现在计算机是不同的，人脑是由极大量的基本单元（称为神经元）经过复杂的互相连接而形成的一种高度复杂、非线性的、并行处理的信息处理系统。单个神经元反应速度在毫秒级，比起计算机的基本单元――逻辑门要低5～6个数量级。由于人脑的神经元数量巨大（约为1010个），每个神经元可以和几千个其他神经元连接（总连接约为6×1013），对于有些问题的处理速度反而比计算机快许多。而且其能耗比计算机小许多，可见其性能比现代计算机要高许多。 人们必然会想到人脑的组织结构和运行机制必然有其绝妙的特点，从模仿人脑智能的角度出发，来探寻新的消息表示、存储和处理方式，设计全新的计算机处理结构模型，构造出一种更接近人类智能的休息处理系统来解决实际工程中和科学研究领域中传统的冯·诺依曼计算机难以解决的问题，必将大大促进科学进步，并且在人类生活的各个领域引起巨大变化，这就促使人们开始对人工神经网络（Artificial Neural network，NN）的研究 。 神经网络其实简单来说，就是模仿人脑结构和工作方式的一种机器，可以用电子或光电原件实现，也可以通过软件在常规计算机上实现；或者说神经网络是一种具有大量连接的并行分布式处理器，它具有通过学习获取知识并解决问题的能力，并且知识发布存储在连接权（对应于生物神经网络的突触）中，而不是像常规计算机一样存储在特定的存储单元中。 尽管人们对大脑的神经网络结构、运行机制，甚至是单个神经细胞的工作原理的了解还很肤浅，但是基于生物神经系统的分布式存储、并行处理、自适应学习等现象，已经构造出有一定初级智能的人工神经网络。当然这种人工神经网络仅仅是对大脑的粗略而且简单的模拟，无论在规模上、功能上与大脑相比都差得很远，但是在一些科学研究和实际工程中，已经显示出强大的威力。 从80年代初神经网络的研究再次复苏并形成热点以来，其发展非常迅速，从理论上对它的计算能力、对任意连续映射的逼近能力、学习理论以及动态网络的稳定性分析上都取得丰硕的成果，其应用领域有：（1）模式识别和图像处理；（2）控制及优化；（3）金融预测与管理；（4）通信等。 人工神经网络主要有以下几种形式： 前馈神经网络（例如感知器网络、 反向传播神经网络）； 径向基函数（RBF）神经网络； 反馈神经网络（例如离散和连续Hopfield神经网络）等 基本神经元模型示意图 径向基神经网络由于其相比于多层前馈网络（Multilayer Feed-forward Networks）具有简单的网络结构避免了不必要的冗杂的计算，并且具有良好的泛化能力而越来越收到大家的重视。 径向基神经网络可以避免许多其它网络在实际应用中可能产生的严重问题。因为径向基神经网络可以直接从输入中获取隐单元所需要的参数并且通过线性优化的方法来训练自身的网络参数，所以它不仅结构简单而且相比于多层前向网络而言，其完成网络训练通常要快许多。 2.最小资源分配网络（MRAN） 传统的径向基神经网络实现过程中，隐单元的数目通常是基于输入数据的一些特性先验地确定的，而其隐单元和输出单元之间的连接权值通常是通过线性最小二乘法来确定的。这种方法的缺点在于它通常会导致隐单元数目过多。 所以这种学习方法在要求进行自适应控制而需要在线系统辨识的实际应用的串行学习中往往并不适用。同时，具有最少隐单元的网络往往不会对学习噪声非常敏感，所以在实际应用中效果往往更好。 径向基神经（RBF）网络 最小资源分配网络是径向基神经网络的一种，径向基神经网络（Radial Basis Function Neural Network），顾名思义，采用径向基函数作为激活函数。径向基神经网络结构与多层前向网络非常类似，它也是一种三层前向网络。一个典型的径向基神经网络拓扑结构如下图所示。 图中，X表示网络的输入向量，w为输出层权向量，b为输出单元偏移，f（*）为网络输出函数，表示第i个隐单元的径向基函数，一般取高斯函数，其中包含该隐单元的扩展常数，||*||表示欧氏范数，Ci表示第i个隐单元的数据中心。隐单元的个数，以及每个隐单元的数据中心、扩展常数、连接权值是RBF网络最重要的参数。 最小资源分配网络（MRAN） 基于对传统径向基神经网络学习方法缺点的认识，有人提出一种对最小径向基神经网络的串行学习算法，叫做Minimal Resource Allocation N