加权最小二乘支持向量机与最小二乘问题的关系.pdfVIP

维普资讯 第26卷第 1期 湖北大学学报 (自然科学版) V01．26 No．1 ienceEdition) Mar．，2OO4 beiUniversity(NaturalSc 2OO4年 3月 J—ournalofHu — — — 文章编号：1000—2375(2004)01—0016一o3 加权最小二乘支持向量机与最小二乘 问题的关系 陈将宏，周德强，李落清 (湖北大学 数学与计算机科学学院，湖北 武汉 430062) 摘 要：研究了加权最小二乘支持向量机与最小二乘法的关系．证明了用加权最小二乘支持向量机作函 数估计与在特征空间中用最小二乘法得到的解是一致的．加权最小二乘支持向量机选择核相当于最小二乘 法选择基函数组．由此提出了采用加权最小二乘支持向量机解决最小二乘法问题的思想，保证解具有良好的 推广性、鲁棒性与稀疏性 ． 关键词：支持向量机；最小二乘法；特征空间 中图分类号：TP18 文献标志码：A 1 引 言 支持向量机(SVM)是学习理论的一种成功实现，它建立在统计学习理论的VC维和结构风险最小化 原理之上 ．根据有限样本信息在模型的复杂性和学习能力之间寻求最佳折哀，以期获得最好的推广能 力 ． 由于SVM具有 良好的推广性，目前已经成功地应用到函数逼近、信息融合等领域．最小二乘支持向 量机(IS—SVM)是为了便于求解对 SVM的一个扩展，它通过非线性映射将原始空间不等式约束的二次 优化问题转化成特征空间等式约束的线性系统，极大地简化 了计算 ．但这一扩展的不足之处是，它导致 解丧失了稀疏性和鲁棒性 ．加权最 ／j~乘支持向量机在一定程度上克服了这两个缺陷．而最小二乘法是 函数逼近最经典和有效的方法之一，应用十分广泛，本文力求寻找两者之间的关系，从而应用 SVM求解 最小二乘问题，保证得到的函数具有最小的风险．换句话说，具有很好的推广性． 参考文献[1]中研究了支持向量机在二次损失函数下的解，并与普通最小二乘估计作了比较得出： 在逼近精度和惩罚参数取特殊值时这个解与应用最小二乘法得到的极小范数解是一致的．本文用不同 的方法研究了加权最小二乘支持 向量机解 ，得出用加权最小二乘支持向量机作函数估计与在特征空间 中用最小二乘法得到的极小范数解是一致的．而文献[1]中所讨论的情形可以看作是本文所研究问题的 特殊情形． 2 加权的最小二乘支持 向量机与非线性函数逼近 给定 个样本点 ( ，y)，( ，y)，…，( ，YN)， 其中输入样本 ∈R ，输 出样本 Y ∈R，LS—SVM在特征空间考虑下面最优化问题 ． ． ． minJ(叫，)：：—1叫T叫+—1)， v (1) · b，f ‘ ‘ s．t．：Y =叫T (。)+b+ ，i=1，2，…，Ⅳ． 此处函数 (·)：R 一R 是输入空间到 维特征空间的一个 内映射( 可能是无穷大)，权向量 叫C-R ， 噪声向量 =(。， ，…， )∈R ，而 bC-R．特殊情况下，如果