有哪些信誉好的足球投注网站- 1、本文档共94页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
1
浙江大学DS系列专题
DeepSeek技术溯源及前沿探索
主讲人：朱强
浙江大学计算机科学与技术学院
人工智能省部共建协同创新中心（浙江大学）/zhuq
2
Outline
一、语言模型
二、Transformer
三、ChatGPT
四、DeepSeek
五、新一代智能体
3
语言模型：终极目标
LanguageModeling
对于任意的词序列，计算出这个序列是一句话的概率
Isaw
Isawacat
Isawacatonthechair
Isawacatrunningafteradog
Isawaca
car
Isawacatinmydream
4
语言模型：基本任务
She只有一个1，其余均为0is编码：让计算机理解人类语言
She
只有一个1，其余均为0
is
1
0
0
0
0
1
0
0
my 0010mom
my
0010
mom
0
0
0
1
One-hotEncoding
5
编码：让计算机理解人类语言
WordEmbedding
用一个低维的词向量表示一个词
能使距离相近的向量对应的物体有相近的含义
游泳飞翔
鲸鱼0.990.990.050.1…
海豚0.990.050.930.09…
鹦鹉0.020.010.990.98…
企鹅0.980.020.940.3…
20维的向量用one-hot和wordembedding的方法分别可以表示多少单词？
6
编码：让计算机理解人类语言
WordEmbedding
Abottleoftezgüinoisonthetable.Everyonelikestezgüino.
Tezgüinomakesyoudrunk.
Wemaketezgüinooutofcorn.
(1)Abottleof_______isonthetable.
(2)Everyonelikes_______.
(3)_______makesyoudrunk.
(4)Wemake_______outofcorn.
结合句子语境我们可以猜测：
tezgüino是一种由玉米制作的酒精类饮料
tezgüino
motoroil
tortillas
wine
(1)(2)(3)(4)
1
1
1
1
1
0
0
0
0
1
0
1
1
1
1
0
两行内容十分相近
两个单词含义相近
7
语言模型：技术演化
基于统计的N-gram（1970after）
Transformer(2017after)
Before：
Before：P(小)·P(猫|小)·P(抓|小猫)·P(老|小猫抓)·P(鼠|小猫抓老)
2-gram：P(小)·P(猫|小)·P(抓|猫)·P(老|抓)·P(鼠|老)
3-gram：P(小)·P(猫|小)·P(抓|小猫)·P(老|猫抓)·P(鼠|抓老)
基于神经网络的LSTM/GRU(2000after)
8
Encoder-Decoder
常见的深度学习模型框架，可用于解决Seq2Seq问题
I
Iamprettysmart!
隐
隐
Encoder
Encoder
空
间
Decoder
Decoder
我
我很聪明!
Rep
Representation
可以根据任务选择不同的编码器和解码器（LSTM/GRU/Transformer）
9
Outline
一、语言模型
二、Transformer
三、ChatGPT
四、DeepSeek
五、新一代智能体
大型语言模型简史
2017
JUN
2018
JUN
2018
OCT
2019
FEB
2019
OCT
2020
MAY
2021
SEP
文档评论（0）