DeepSeek-V3关键技术之一：DeepSeekMoE的详解.pdf

DeepSeek-V3关键技术之一：

DeepSeekMoE的详解

一、什么是混合专家模型（MixtureofExperts,MoE）

在深度学习领域，模型性能的提升往往依赖于规模的扩展，但随之而来的计算资源需求也急剧增加。如何

在有限的计算预算下最大化模型性能，成为一个重要的研究方向。混合专家模型（MoE）通过引入稀疏计

算和动态路由机制，提供了一种高效的解决方案。相较于传统的稠密模型，MoE能够在显著减少计算资源

消耗的同时，实现模型规模的扩展和性能的提升。

一、稠密和稀疏的含义

在神经网络中，“稠密”和“稀疏”是用来描述参数或激活模式的术语：

1.稠密（Dense）：

-在传统的神经网络中，稠密通常指的是每一层的神经元都与前一层的所有神经元相连，即全连接

层。这种连接方式是“稠密”的，因为每个输入都会影响到所有的输出，参数数量较多，计算开销也较

大。

-在传统的前馈网络（FFN）中，所有的输入都会经过整个网络的处理，每个神经元都会参与计算，

因此这种结构是“稠密”的。

2.稀疏（Sparse）：

-稀疏则指的是只有部分神经元或参数被激活或使用。在稀疏MoE（混合专家模型）层中，稀疏性体

现在每次前向传播时，只有部分专家（即部分神经网络）被激活并参与计算，而不是所有的专家都参与。

-这种稀疏激活策略显著减少了计算开销，因为每次只需要计算被激活的专家，而不是所有的专

家。这种机制使得模型能够在保持高维特征空间中表达复杂模式的同时，降低计算成本。

举例说明：餐厅厨房的工作模式

①.稠密模式：

-想象一个餐厅的厨房里只有一个大厨，这位大厨需要负责所有菜品的制作。无论顾客点了什么

菜，这位大厨都要亲自处理每一道菜的所有步骤。这意味着大厨的工作量非常大，需要掌握所有菜品的制

作方法，效率相对较低。

-这就好比传统FFN，每个输入都需要经过整个网络的处理，所有神经元都参与计算，计算量大且效

率较低。

②.稀疏模式：

-现在想象另一个餐厅的厨房，这里有多个专业厨师（专家），每个厨师只擅长做某一种菜。比

如，有的厨师专门做披萨，有的专门做寿司，有的专门做甜点。当顾客点餐时，系统会根据菜品类型自动

分配任务，只有相关的厨师会参与制作，其他厨师则不需要动。

-这就好比稀疏MoE层，每次只有部分专家（神经网络）被激活并参与计算，其他专家则处于“休息”

状态。这种分工明确的方式大大降低了工作量，同时提高了效率。

③.总结

-稠密模式就像一个大厨包揽所有工作，效率低但全面。

-稀疏模式就像多个专业厨师分工合作，效率高且专业化。

那么，混合专家模型（MoE）到底是什么呢？简单来说，它是一种基于Transformer架构的模型，主要由两

个核心组件构成：

2.稀疏MoE层：

稀疏MoE层是混合专家模型的核心组件，通常用于替代传统Transformer中的前馈网络（FFN）层。

这些层由多个专家构成，每个专家本质上是一个独立的神经网络。在典型实现中，这些专家是简

单的前馈网络，但根据实际需求，它们也可以采用更复杂的结构，甚至嵌套MoE层，从而形成多

层次的专家体系。值得注意的是，每个专家FFN的结构都比传统FFN更简单，因为单个专家只需要处

理特定类型的输入，而传统FFN则需要处理所有情况。这种专业化分工使得每个专家可以使用更少

的参数来完成其特定任务。MoE层的工作原理基于稀疏激活策略：在每次前向传播中，仅部分专家

会被激活并参与计算。这种机制显著降低了计算开销，同时保留了模型在高维特征空间中表达复杂

模式的能力。

-结构特点：

-包含多个FFN专家网络(上图中每组4个FFN专家)

-每个专家都是独立的前馈神经网络

-采用稀疏激活机制，即每个token只会激活少数专家

-稀疏性体现：

-不是所有专家都会被同时使用

-每个token只会路由到最相关的专家

-图中显示两组专家系统，每组4个FFN专家(FFN1-4)

-专家之间相互独立，可以并行计算

3.门控网络/路由机制(Router)：

门控网络（或称路由机制）负责动态分配输入token到特定的专家。该机制的目标是根据输入特

征，选择最适合处理这些特征的专家。例如在上图中“More”这个令牌可能被路由到第二个专家，

而“Parameters”则可能被分配给第二个专家。在某