正则化最小二乘问题的原始-对偶不动点方法.pdfVIP

摘要

正则化最小二乘,具有发现稀疏表示的能力,在机器学习、统计和信号处理领域应用

非常普遍.近年来,利用凸优化问题结构的重要性已成为机器学习领域一个热门的研究课

题.对于非光滑优化技术尤其如此,利用非光滑项的结构似乎是获得良好性能的关键.近端

梯度法是利用在实际应用中出现的许多非光滑优化问题的结构的最重要方法之一.很长一

段时间以来,人们已经认识到,观察一个优化问题的对偶可以很大程度上简化它的解.然

而,在过去几年里,产生了许多重要的新贡献,其中一种较新的思想是:得出同时发挥原始

问题和对偶问题的有效策略.

本文研究了解决一般-范数正则化最小二乘问题的方法,对Ribeiro,Richtarik和Silva

等提出的原始-对偶不动点方法进行了扩展,分别给出了lasso问题,正则化最小二乘问题

以及弹性网(ElasticNet)问题的具体求解过程.本篇文章的主要内容如下:

第一章主要介绍正则化问题的研究背景、国内外研究现状和已有结果.

第二章给出了对偶映射、次微分、近端映射以及莫罗包络的定义,介绍了近端梯度算

法(不动点算法)和一些命题,为第三章具体问题求解做好理论准备.

第三章首先给出了lasso问题,正则化最小二乘问题以及弹性网(ElasticNet)问题的

数学表达式,然后先通过共轭函数的定义,求出问题目标函数的Fenchel对偶函数,然后对

原始-对偶问题通过近端梯度算法来求解,并得到相应的收敛定理.

最后是结论,总结了本文的研究问题.

关键词:原始-对偶方法,不动点方法,lasso,弹性网,正则化

I

II

ABSTRACT

Regularizedleastsquares,whichhastheabilitytodiscoversparserepresentations,

iswidelyusedinmachinelearning,statisticsandsignalprocessing.Inrecentyears,the

importanceofexploitingthestructureofconvexoptimizationproblemshasbecomeahot

researchtopicinmachinelearning.Thisisespeciallytruefornon-smoothoptimization

techniques,whereexploitingthestructureofthenon-smoothtermsseemstobethekey

toobtaingoodperformance.Theproximal-gradientmethodisoneofthemostimportant

methodstoexploitthestructureofmanynon-smoothoptimizationproblemsthatarisein

practice.Ithasbeenrecognizedforalongtimethatobservingthedualofanoptimization

problemcangreatlysimplifyitssolution.However,anewerideathathasproducedmany

importantnewcontributionsinthelastfewyearsistoarr