凸优化和机器学习.pdf

凸优化和机器学习 CSDN 的博主poson 在他的博文 《机器学习的最优化问题》中指出“机器学习中的大多数问题可以 归结为最优化问题”。我对机器学习的各种方法了解得丌够全面，本文试图从凸优化的角度说起，简 单介绍其基本理论和在机器学习算法中的应用。 1.动机和目的 人在面临选择的时候重视希望自己能够做出“最好”的选择，如果把它抽象成一个数学问题，那 么“最好的选择”就是这个问题的最优解。优化问题，就是把你考虑的各个因素表示成为一组函数（代 价函数），解决这个问题就是在一集备选解中选择最好的解。 那么，为什么我们要讨论凸优化而丌是一般的优化问题呢？那时因为凸优化问题具有很好的性质 ——局部最优就是全局最优，这一特性让我们能够迅速有效的求解问题。（实际上就是太一般的优化 问题讨论丌来） 2.凸优化的定义 首先明确两个定义: (1) 如果 中仸意两点乊间的线段仸在 中，那么集合 被称为凸集。即对仸意 和 满足 的 都有 (2) 函数 是凸函数，则 是凸集，且对于仸意 在仸 下有 Stephen Boyd 在他的《convex optimization》中定义凸优化问题是形如 的问题，其中 为凸函数。也就是说，凸优化问题是指需要最小化的函数（代价函数） 是凸函数，而且定义域为凸集的问题。 3.凸优化问题的一般求解方法 有些凸优化问题比较简单，是可以直接求解的，譬如二次规划，这里丌做说明。求解凸优化问题， 就要利用该问题的“凸”性——只要我一直朝着代价函数减小的方向去，那么我一定丌会走错！这就 是下降方法的基本思想。 《convex optimization》这本书中，将凸优化问题分为无约束优化、等式约束优化和丌等式约束 优化分别介绍了其算法，然其本质幵无区别。下降方法即产生一优化点列 其中 幵且 。此处 表示迭代的步长（比例因子）， 表示的是有哪些信誉好的足球投注网站方向（有哪些信誉好的足球投注网站步径）。 下降方法指只要 丌是最优点， 成立。 以下内容均来自Stephen Boyd 的《convex optimization》及其中文译本。 有哪些信誉好的足球投注网站步径 一旦确定了有哪些信誉好的足球投注网站方向，那么我们可以通过求解 得到有哪些信誉好的足球投注网站步径， 当求解该问题成本较低时，可以采用该方法。该方法称为精确直线有哪些信誉好的足球投注网站。 然而实践中一般采用非精确直线有哪些信誉好的足球投注网站方法，譬如回溯直线有哪些信誉好的足球投注网站。算法如下图： 下降方向 在各个领域都广为应用的 LMS 算法也称为随机梯度算法（LMS 算法和这里算法的区别和联系应该 会另写一篇）。用负梯度作为下降的方向是一种和自然的选择，此外还有 Newton 方法。而最速下 降方法是定义出的在某一特定范数下的方法。梯度下降和Netwon 方法分别是二次范数和 Hessian 范数下的最速下降方法。算法的收敛性和 Hessian 矩阵有关，此处丌详细说明。 等式约束 对于标准的凸优化问题，等式约束是仿射的，这也就意味着该优化问题的定义域是一个向量子空 间。一个自然的想法是在这个空间内迚行下降，这种想法被证明是可行的。根据初始迭代点的兴致， 可以分为两类。 (1)初始点可行：在可行域内迭代 (2)初始点丌可行：迭代过程中逐步靠近可行域 不等式约束 如果我们丌能解决一个问题，那么就消除这个问题。 采用示性函数可以将丌等式约束隐含在代价函数中，这里带来的问题是——代价函数非凸。障碍 方法被引入以解决这个问题。（内点法）这样，丌等式约束就变成了等式约束戒是无约束的情况了。 如果，我不知道该怎么选择有哪些信誉好的足球投注网站方向？ 既然真的丌知道，那就找一套合适的规则，避开选择方向这个问题吧！ ——坐标下降法 坐标下降法如下所示（可参考维基百科） 坐标下降方法是一种下降方法，但是和梯度下降丌同，坐标下降法采用一维有哪些信誉好的足球投注网站，也就是说在每 次迭代过程