卷积神经网络中自适应优化算法的研究.pdf

目录

摘要I

ABSTRACTIII

第一章绪论1

1.1研究背景及意义1

1.2国内外研究现状2

1.2.1自适应优化算法3

1.2.2优化算法在神经网络中的应用4

1.3研究内容5

1.4论文组织结构6

第二章相关理论基础7

2.1梯度下降算法7

2.1.1SGD算法7

2.1.2Adam算法8

2.1.3Adamod算法9

2.1.4AdaGrad算法9

2.2卷积神经网络10

2.2.1卷积神经网络结构10

2.2.2ResNet网络11

2.2.3DenseNet网络14

2.3RetinaFace网络15

2.4本章小结16

第三章基于动态边界和激活函数的Adam算法的改进17

3.1激活函数17

3.2Yadamod算法的设计18

3.3Yadamod算法的收敛性分析20

3.4实验结果与分析25

3.4.1DenseNet网络25

3.4.2ResNet网络27

3.5本章小结31

第四章基于差分梯度摩擦系数的AdaGrad算法的改进33

4.1差分梯度摩擦系数33

4.2Yadagrad算法的设计33

4.3Yadagrad算法的收敛性分析35

4.4实验结果与分析40

4.4.1图像分类40

4.4.2人脸检测44

4.5本章小结46

第五章总结与展望47

5.1总结47

5.2未来展望48

参考文献49

在学期间取得的科研成果55

致谢57

摘要

卷积神经网络是目前最为广泛的神经网络，在图像分类、人脸检测等识别方面

有重要作用。自适应优化算法在卷积神经网络中有着重要的地位，它通过对学习率

自适应调节，从而达到求解全局最优的目的。常见的自适应算法有Adam算法、

AdaGrad算法虽可以自适应调节学习率，无需人工参与，具备收敛快的优点，但此

类算法的学习率往往在网络训练时极易发生震荡，甚至存在不收敛现象，达不到全

局最优值。为此，本文深入分析Adam算法和AdaGrad算法，并分别提出了对应的

改进算法，从理论和实验基础上验证算法的收敛性和有效性。

其一，为改善Adam算法学习率震荡和极端学习率问题，提出了一种基于动态

边界和激活函数的Yadamod算法。一方面，在Adam算法的二阶动量项中加入激活

函数，另一方面，对学习率进行指数加权平均和增加动态边界，且在随机非凸情况

下对Yadamod算法进行了收敛性分析。此外，基于DenseNet网络、ResNet-34和

ResNet-50卷积神经网络分别将Yadamod算法和Adam算法以及其他算法进行对比实

验，结果表明，该算法在准确度和收敛速度方面都有提升，且有效的抑制了学习率

震荡的现象。

其二，为避免AdaGrad算法学习率不断单调下降致使训练后期学习率过小的问

题，本文提出了一种新的自适应算法Yadagrad算法。在AdaGrad算法基础上引入差

分梯度摩擦系数（DFC），根据梯度的变化来控制学习率。理论上，采用在线学习

框架对Yadagrad算法进行收敛分析，证明了该算法的遗憾上界为(T)。实验上，

ResNet-34ResNet-50AdaGrad

一方面，基于和神经网络进行图像分类任务，使用