一种基于粒子群优化算法的神经网络训练方法.pdfVIP

维普资讯 第 35卷 第 3期 河南师范大学学报 (自然科学版) V ．35 No．3 2007年 8月 JournalofHenanNormalUniversity (NaturalScience) Aug．2007 文章编号 ：1000—2367(2007)03—0169—03 一 种基于粒子群优化算法的神经网络训练方法 秦毅男 ，廖晓辉 ，赵庆治 (1．郑州大学 电气工程学院，郑州 450000；2．开封市供 电公司，河南 开封 475000) 摘 要：介绍了粒子群优化(PSO)算法的原理，研究了将 PSO算法应用于神经网络训练的方法，给出了算法 软件实现的基本流程，并对 Iris分类 问题做了仿真实验 。通过与BP算法的比较，结果表明基于PSO的神经网络训练 算法操作简单 ，易于实现 ，而且训练精度较高，有 良好 的收敛性． 关键词：粒子群优化；进化算法；神经网络 中图分类号 ：TP183 文献标识码 ：A 人工神经网络 (ArtificialNeuralNetwork，ANN)具有信息的分布式存储 、并行处理和 自组织 、自学习能 力等独特优势 ，在许多应用研究领域取得了巨大成功[1]．BP网络是其中应用最为广泛 、也是最基本 的神经 网络之一．它采用误差反 向传播算法 (BP算法)，能以任意精度逼近非线性关系 ，但在实际应用 中仍然存在一 些问题 ：如收敛速度慢、训练时间长，易陷入局部极小，以及对参数选择较为敏感等． 粒子群优化 (ParticleSwarmOptimization，PSO)算法是一种基于群体智能的全局优化进化算法_3]．该 算法采用速度一位置有哪些信誉好的足球投注网站模型，通过群体中粒子间的合作与竞争产生的群体智能指导优化有哪些信誉好的足球投注网站 ，能有效克服 局部极小问题[4]，因此是一类很有潜力的神经网络训练算法． 本文研究将 PSO算法应用于神经网络训练的方法，并与BP算法做 了对 比仿真实验． 1 粒子群优化算法 PSO算法首先生成初始种群 ，即在解空间中随机初始化一群粒子 ，粒子 的位置表示待优化问题的解 ，解 的优劣程度 由目标函数确定的适应值决定．每个粒子将在解空间中运动 ，并 由一个速度决定其飞行方向和速 率大小．然后通过逐代有哪些信誉好的足球投注网站找到最优解． 设第 i个粒子在d维解空间中的位置为 一 ( ， ，…， )，其速度 一 ( ， ，…， )．它的个体极 值 P一 ( P …，P )，种群的全局极值P 一 ( ，Pz，…，P )．粒子根据 (1)、(2)来更新其速度和位置 ： 一 7．O · + Cl·rand() ·( 一 )+ C2 ·rand() ·( 一 Xk／)， (1) 一 z + ， (2) 式中7．0为惯性权重 ，rand()是均匀分布在 (0，1)之间的随机数 ，C，C为两个学习因子．粒子在解空间内不断 跟踪个体极值与全局极值进行有哪些信誉好的足球投注网站，直到达到规定的迭代次数或满足给定的误差标准为止． 2 基于PSO的神经网络训练算法 2．1 BP神经网络 BP网络是人工神经网络实际应用最为广泛的一种模型，它是一种多层前馈网络，结构如图1所示．BP 网络训练时，对于给定的输入样本 向量 J，神经元的实际输出可表示为 ； O— f(W *J，6)， (3) 收稿 日期 ：2006—11—20 基金项 目：河南省科技攻关项 目(424300008) 作者简介 ：秦毅男 (1973--)，男，河南郑州人 ，郑州大学讲师，研究方 向：人工智能在 电力系统中的应用． 维普资讯 17O 河南师范大学学报 (自然科学版)