深度学习梯度替代算法研究回顾.docxVIP

深度学习梯度替代算法研究回顾

目录

深度学习梯度替代算法研究回顾（1）．．．．．．．．．．．．．．．．．．．．．．．．．．3

内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

梯度替代算法概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1算法定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.2应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

深度学习的背景介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

3.1历史发展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2当前趋势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

梯度替代算法的研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

4.1主要方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

4.2已有成果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

梯度替代算法的优势与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

5.1优势分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

5.2面临的挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

案例研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

6.1实验设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

6.2结果展示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

梯度替代算法的未来展望．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

7.1发展方向．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

7.2技术突破．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

总结与结论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

深度学习梯度替代算法研究回顾（2）．．．．．．．．．．．．．．．．．．．．．．．．．27

内容描述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

1.2研究内容与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

梯度替代算法基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

2.1梯度下降法概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

2.2梯度替代技术在梯度下降中的应用．．．．．．．．．．．．．．．．．．．．．．．．32

2.3相关概念与术语解释．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

深度学习梯度替代算法研究进展．．．．．．．．．．．．．．．．．．．．．．．．．．．35

3.1基础梯度替代算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

3.1.1批量归一化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

3.1.2动量优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

3.2针对深度神经网络的梯度替代算法．．．．．．．．．．．．．．．．．．．．．．．．40

3.3深度学习梯度替代算法的比较与分析．．．．．．．．．．．．．．．．．．．．．．42

深度学习梯度替代算法的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

4.1计算机视觉领域应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

4.1.1图像分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．