DeepSeek技术溯源及前沿探索.pptx

1

浙江大学DS系列专题

主讲人：朱强

浙江大学计算机科学与技术学院

人工智能省部共建协同创新中心（浙江大学）/zhuq

DeepSeek技术溯源及前沿探索

浙江大学人工智能教育教学研究中心浙江大学人工智能

研究中心浙江大学人工智能教育教学研究中心浙江大学人

教育教学研究中心浙江大学人工智能教育教学研究中心

二、Transformer

三、ChatGPT

一、语言模型

四、DeepSeek

五、新一代智能体

浙江大学人工智能教育教学研究中心浙江大学人工智能

研究中心浙江大学人工智能教育教学研究中心浙江大学人

教育教学研究中心浙江大学人工智能教育教学研究中心

Outline

2

LanguageModeling

对于任意的词序列，计算出这个序列是一句话的概率

我们每天都和语言模型打交道：

Isawacatinmydream

Isawaca

car

浙江大学人工智能教育教学研究中心浙江大学人工智能

研究中心浙江大学人工智能教育教学研究中心浙江大学人

语言模型：终极目标

教育教学研究中心浙江大学人工智能教育教学研究中心

3

编码：让计算机理解人类语言

1

0

0

0

0

1

0

0

0010

只有一个1，其余均为0

One-hotEncoding有什么缺点吗？

0

0

0

1

One-hotEncoding

浙江大学人工智能教育教学研究中心浙江大学人工智能

研究中心浙江大学人工智能教育教学研究中心浙江大学人

语言模型：基本任务

教育教学研究中心浙江大学人工智能教育教学研究中心

4

WordEmbedding

用一个低维的词向量表示一个词

能使距离相近的向量对应的物体有相近的含义

游泳飞翔

鲸鱼0.990.990.050.1…

海豚0.990.050.930.09…

鹦鹉0.020.010.990.98…

企鹅0.980.020.940.3…

20维的向量用one-hot和wordembedding的方法分别可以表示多少单词？

浙江大学人工智能教育教学研究中心浙江大学人工智能

研究中心浙江大学人工智能教育教学研究中心浙江大学人

编码：让计算机理解人类语言

教育教学研究中心浙江大学人工智能教育教学研究中心

5

tezgüino

motoroil

tortillas

wine

(1)(2)(3)(4)

1

1

1

1

1

0

0

0

0

1

0

1

1

1

1

0

两行内容十分相近

两个单词含义相近

浙江大学人工智能教育教学研究中心浙江大学人工智能

WordEmbedding

Abottleoftezgüinoisonthetable.

Everyonelikestezgüino.

Tezgüinomakesyoudrunk.

Wemaketezgüinooutofcorn.

(1)Abottleof_______isonthetable.

(2)Everyonelikes_______.

(3)_______makesyoudrunk.

(4)Wemake_______outofcorn.

结合句子语境我们可以猜测：

tezgüino是一种由玉米制作的酒精类饮料

研究中心浙江大学人工智能教育教学研究中心浙江大学人

编码：让计算机理解人类语言

教育教学研究中心浙江大学人工智能教育教学研究中心

6

语言模型：技术演化

基于统计的N-gram（1970after）

基于神经网络的LSTM/GRU(2000after)

Transformer(2017after)

浙江大学人工智能教育教学研究中心浙江大学人工智能

研究中心