第九周：实际工作中的一些高级技术2.0.pdf

DeepLearning

实际工作中的一些高级技术

Johnson

导师：

主要内容

1.训练加速

2.推理加速

3.深度学习自适应

4.对抗神经网络

训练加速

工作中最常用为多GPU训练:

1.基于数据的并行（常用）

2.基于模型的并行

基于数据的并行

Server

ModelAverage(模型平均)

……

Client1Client2Clientn

基于数据的并行

SSGD(同步随机梯度下降)Server

……

Client1Client2Clientn

基于数据的并行

ASGD(异步随机梯度下降)Server

……

Client1Client2Clientn

基于模型的并行

推理加速

1.SVD分解

2.HiddenNodeprune

3.知识蒸馏(teacherstudent)

4.参数共享(lstm的参数共享)

5.神经网络的量化

6.BinaryNet

7.基于fft的循环矩阵加速

SVD分解

1.Pretrain

2.svd+finetuning

HiddenNodeprune

1.Pretrain

2.HiddenNodeprune+finetuning

知识蒸馏(teacherstudent)

KL距离（相对熵）

KL距离，是Kullback-Leibler差异（Kullback-LeiblerDivergence）的简称，也叫作相对熵

（RelativeEntropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在相

同事件空间里，概率分布P（x）对应的每个事件，若用概率分布Q（x）编码时，平均每个基本事件

（符号）编码长度增加了多少比特。我们用（P||Q）表示KL距离，计算公式如下：

（|=෍()log()

()

当两个概率分布完全相同时，即P（X）=Q（X），其相对熵为0。

我们知道，概率分布P（X）的信息熵为：

知识蒸馏(teacherstudent)

−1

=−෍log