DeepSeek核心技术白话解读PPT.pptx

DeepSeek核心技术白话解读;

全校Al公开课DeepSeek与未来AI创新

第一部分

引言

报告主题：DeepSeek核心技术白话解读;

DeepSeek的突破性定位;

报告主题：DeepSeek核心技术白话解读;

报告主题：DeepSeek核心技术白话解读;

机器学习模型：一种映射，在给定输入情况(x)下、输出一定结果的函数f(x)。

机器学习：根据反馈信号调整模型的参数，以使模型的表现符合预期

Xf(x)

输入模型输出;

2.1学习策略创新：背景知识;

报告主题：DeepSeek核心技术白话解读;

神奇之处：通过一个不需要思维链标注、不需要过程监督、依靠最简单的反馈信号、依赖很少的学习循环次数的极其简单的后训练流程，就可大幅提升模型的推理能力。

报告主题：DeepSeek核心技术白话解读;

Question:Ifa1,thenthesumoftherealsolutionsofVa-va+x=xisequaltoResponse:think

Tosolvetheequationva-va+x=x,lersstartbysquaringboth…

(Va-va+x)2=x2→a-va+x=x2.

Rearrangetoisolatetheinnersquarerootterm:

(a-x2)2=a+x一a2-2ax2+(x2)2=a+x一x?-2ax2-x+(a2-a)=0

Wait,wait.Wait.ThatsanahamomentIcanflaghere.

Letsreevaluatethisstep-by-steptoidentifyifthecorrectsumcanbe…

Westartedwiththeequation:

va-√a+x=x

First,letssquarebothsides:

a-va+x=x2一Va+x=a-x2

Next,Icouldsquarebothsidesagain,treatingtheequation:;

大幅增加后训练阶段的可扩展性，降低数据标注成本

开启LLM推理能力的自我进化之门：与其直接教解题思路，

不如让模型自己悟出更好的

从强人工智能到超人工智能?;

深度神经网络的核心思想是信息的逐层传播与变换

传播的多样性：CNN关注空间局部性，RNN强调时序依赖，Transformer实现全局交互，但均

遵循“输入→处理→输出”的传播逻辑。

变换的核心性：无论线性变换、非线性激活，还是注意力权重的动态计算，本质上都是对信息的

加工和提取。

目标的一致性：最终目标是通过层级变换，将原始输入映射到有意义的输出。;

前向计算网络：

实现多层非线性变换，大约2/3的模型??数集中于此

自注意力机制：

其核心思想是通过动态计算输入元素间的权重，捕捉元素之间的复杂依赖关系，赋予模型强大的上下文建模能力。参数量占约1/3,但其计算复杂度为输入序列长度的平方，在长文本条件下消耗了大部分计算存储资源;

大模型的过参数化：参数量远超过了拟合训练数据所需的最小参数量，但学习到的

模型可能只存在于一个低本质维度的子空间中。这是Deepseek模型结构创新的重要前提

报告主题：DeepSeek核心技术白话解读;

Feed-ForwardNetwork

RMSNorm

Attention

RMSNorm;

预填充与解码阶段分离，结合冗余专家动态路由，实现高吞吐量与低延迟的在线服务。

报告主题：DeepSeek核心技术白话解读;

反向传播;

inputWeight

Scaing

FachorScaing

Factor

Nc

1Na

Ne

TonsorCore

Output

CUDACore;

更少的模型参数

混合专家结构(MOE)

更少的计算存储

FP8混合精度训练

更少的通讯开