从sgd到adam深度学习优化算法概览(一).docx

从 SGD 到 Adam 深度学习优化算法概览 （一） 楔子前些日在写计算数学课的期末读书报告，我选择的主题是「分析深度学习中的各个优化算法」 。在此前的工作 中，自己通常就是无脑「 Adam 大法好」，而对算法本身的 内 涵不知所以然。一直希望能抽时间系统的过一遍优化算法 的发展历程，直观了解各个算法的长处和短处。这次正好借 着作业的机会，补一补课。本文主要借鉴了 @Juliuszh 的 文章 [1] 思路，使用一个 general 的框架来描述各个梯度下降 变种算法。实际上，本文可以视作对 [1] 的重述，在此基础上， 对原文描述不够详尽的部分做了一定补充，并修正了其中许 多错误的表述和公