基于PSO及GASVM特征选择及参数优化算法.doc

基于PSO及GASVM特征选择及参数优化算法 　　摘要摘要：支持向量机（SVM）在处理大样本特征维数较多的数据集时，算法消耗时间长而且容易陷入局部最优解，选择不合适的SVM算法参数会影响SVM模型分类性能。为了提高SVM性能，提出了基于粒子群算法（PSO）和遗传算法（GA）相结合的SVM特征选择与参数同步优化算法PGS。在UCI标准数据集上的实验表明，PGS算法能有效地找出合适的特征子集及SVM算法参数，提高收敛速度并能在较小的特征子集获得较高的分类准确率 关键词关键词：粒子群算法；遗传算法；支持向量机；特征选择；参数优化 DOIDOI：10.11907/rjdk.171267 中图分类号：TP312 文献标识码：A文章编号文章编号2017）005002103 0引言 分类问题主要是分类器模型的选择、分类样本的特征选择以及分类器参数优化等问题，是模式识别领域的基础问题。Vapnik等[1]在1995年提出一种新型有监督的统计学习方法――支持向量机（Support Vector Machines，SVM），在文本分类、图像分类、人脸识别等诸多领域得到了成功应用，成为机器学习领域的研究热点。研究表明，SVM分类器的参数例如核函数参数、惩罚参数C与SVM 的分类性能有很大关系[2]，选择合适的参数能显著提高SVM的分类精度。特征选择是根据某种评估标准从样本的原始特征中选择部分特征作为特征子集[3]。大数据时代下，样本冗余特征不断出现，如何从大样本特征中去除冗余、选取有利特征是机器学习的重要研究课题。样本特征选择合理，不但可以消除冗余，而且可以降低算法时间复杂度，加快算法运行速度，提高分类器的准确率 粒子群优化算法（Particle Swarm Optimization，PSO）是根据鸟群扑食行为产生的仿生设计算法，属于一种简单有效的全局优化算法，已在许多领域得到应用，如用于参数选择[4]。遗传算法（Genetic Algorithm，GA）是根据遗传变异论和“适者生存”原理启发设计的算法，经过一系列的选择、交叉、变异操作，使个体不断进化，越来越适应环境，即越来越接近问题的最优解。GA算法不依?于求解问题的具体领域，有较强的鲁棒性，主要用于解决优化问题 一般通过大量实验获得较优的参数和特征子集，但这种方法要消耗大量的时间，而且获得的参数和特征子集不一定好。本文提出一种特征选择和参数同步优化算法，该算法使用了PSO、GA 和SVM算法，简称为PGS算法 1相关概念 1.1支持向量机 支持向量机（SVM）是一种机器学习过程，基本原理是将样本数据映射到一个高维空间，并在高维空间中寻找一个最大间隔超平面，将不同类别的样本数据隔离，使间隔最大，从而正确分类样本数据 e是元素全为1的向量，ξ为误差，C 0为惩罚参数，该参数的作用是调整误差。式（3）最小化问题取决于参数C和核函数的参数选择。选择合适的参数可以提升SVM分类性能 1.2PSO算法 Kennedy等[5]通过观察鸟群捕食行为得到启发，于1995 年提出粒子群优化算法（PSO）。PSO属于启发式算法，与遗传算法不同，它不是根据个体自然进化规律设计，而是以生物群体的社会行为启发设计。鸟群的个体与个体、个体与群体间相互作用、相互影响，通过鸟群个体之间的协作和信息共享为群体进化提供帮助。PSO中粒子追随当前最优的粒子在整个解空间进行有哪些信誉好的足球投注网站，通过协作和信息共享机制寻找最优解。算法具有调节参数少、收敛速度快、对特征变化不敏感等优点。PSO 算法将每个个体看作是在n 维有哪些信誉好的足球投注网站空间中具有一定飞行速度的微粒，该飞行速度可由微粒的飞行经验和所有微粒飞行经验进行动态调整。算法描述如下： 式（5）中，w是非负常数，称为惯性因子；c1，c2称为学习因子，一般取非负常数，分别用来调节粒子向个体最优粒子和群体最优粒子方向飞行的步长。合适的学习因子参数值可加快算法的收敛速度且不易陷入局部最优，通常取[0，2]之间的值；参数r1和r2是介于[0，1]之间的随机数 1.3GA算法 HollandJ[6]教授于1975年提出遗传算法，算法基于生物学的进化论和遗传变异理论，自然界的物种不断进化以适应自然环境，不断迭代更新个体基因。每一次迭代根据设定的适应度函数计算群体所有个体的适应值，然后根据适应值计算被选中的概率，根据概率选择一部分个体。被选中的个体一部分直接进入下一代，一部分经过交叉变异操作产生下一代。通过种群初始化、选择、交叉、变异操作，产生新的一群更适应环境的个体，使群体进化到待求解问题空间中越来越好的区域，最后得到最适应环境的个体，也就是问题的最优解 2PGS算法 2.1粒子设计 当缺乏先验知识