支持向量机算法设计与分析7-9章.doc

第七章 模糊支持向量机 在实际应用中，数据集常常带有孤立点或噪声。针对这种数据集，如何设计健壮的学习机是机器学习和模式识别领域中的重要研究课题。针对标准支持向量机对噪声点或孤立点敏感的问题，2002年，Lin和Wang提出了单边加权模糊支持向量机(Fuzzy Support Vector Machine, FSVM) [1]，Suykens等人提出了加权最小二乘支持向量机(Weighted Least Squares Support Vector Machines, WLS-SVM)[2]。2003年，为了解决带噪声的回归问题，Leski提出了基于不敏感学习和最大间隔的模糊系统[3-5]。2004年，Leski提出了基于模糊if-then规则的间隔非线性分类器[6]，Tao和Wang提出了基于加权间隔的模糊支持向量机[7]。2005年，Jayadeva等人提出了模糊近边界支持向量机(Fuzzy Proximal Support Vector Machine, FPSVM)[8]，Wang等人提出了双边加权模糊支持向量机[9]，张讲设和郭高提出了基于噪声软剔除的加权稳健支持向量回归方法[10]。目前，模糊支持向量机在实际中得到了广泛的应用，但是权重的设置问题是这个领域中的公开问题。在这一章中，我们首先介绍模糊支持向量机的一些主要模型，然后讨论权重的设置问题，最后给出基于模糊-均值聚类的一些模糊支持向量机。 7.1 单边加权模糊支持向量机 在这一节中，我们考虑单边加权模糊支持向量机模型，所用的训练集为： (7-1) 其中，对于二分类问题，，对于回归问题，，，为充分小的正数。 7.1.1基于标准模型的模糊支持向量机 2002年，Lin和Wang通过对不同的样本赋予不同的误差权重，提出了解决二分类问题的模糊支持向量机(Fuzzy Support Vector Machine, FSVM)[1]，其相应的数学模型为下列优化问题： (7-2) s.t. (7-3) (7-4) 优化问题(7-2)-(7-4)的拉格朗日函数为： (7-5) 其KKT条件为： (7-6) (7-7) (7-8) 从而其对偶问题为： (7-9) s.t. (7-10) (7-11) 给定了样本的模糊隶属度后，我们就可以用求解标准支持向量机的算法解优化问题(7-9)-(7-11)。得到超平面参数和之后，我们就可以用判别函数 (7-12) 对新的样本进行识别。 7.1.2加权最小二乘支持向量机 为了解决带噪声的回归问题，2002年，Suykens等人提出了加权最小二乘支持向量机(Weighted Least Squares Support Vector Machines, WLS-SVM)[2]。其数学模型为： (7-13) s.t. (7-14) 优化问题(7-13)-(7-14)的KKT条件为： (7-15) 其中： ，为正则化因子。 记，其中，则(7-15)变为： (7-16) 求解(7-16)得到和，则可得判别函数： (7-17) 对于二分类问题，相应的加权最小二乘支持向量机模型为： (7-18) s.t. (7-19) 优化问题(7-18)-(7-19)的KKT条件为： (7-20) 其中。 对于新的样本，可以用判别函数 (7-21) 进行识别。 7.1.3模糊近边界支持向量机 由于原始支持向量机不是严格凸二次规划，Mangasarian和Musicant通过在目标函数中增加，把它转化成一个严格凸二次规划[11]: (7-22) s.t. (7-23) 通过用等式约束代替不等式约束(7-23)，Fung和Mangasarian提出了近边界支持向量机(Proximal Su