DeepSeek技术溯源及前沿探索.pptx

浙江大学DS系列专题DeepSeek技术溯源及前沿探索1

Outline一、语言模型二、Transformer三、ChatGPT四、DeepSeek五、新一代智能体2

LanguageModeling对于任意的词序列，计算出这个序列是一句话的概率我们每天都和语言模型打交道：IsawacatIsawacatonthechairIsawacatrunningafteradogIsawacatinmydreamIsawacacar语言模型：终极目标3

Sheismymom1 0 0 00 1 0 00 0 1 00 0 0 1One-hotEncoding只有一个1，其余均为0One-hotEncoding有什么缺点吗？4编码：让计算机理解人类语言语言模型：基本任务

…游泳 飞翔0.99 0.99 0.05 0.10.99 0.05 0.93 0.09…0.02 0.01 0.99 0.98…0.98 0.02 0.940.3…鲸鱼海豚鹦鹉企鹅WordEmbedding用一个低维的词向量表示一个词能使距离相近的向量对应的物体有相近的含义20维的向量用one-hot和wordembedding的方法分别可以表示多少单词？编码：让计算机理解人类语言5

WordEmbedding结合句子语境我们可以猜测：tezgüino是一种由玉米制作的酒精类饮料(1)(2)(3)(4)Abottleoftezgüinoisonthetable.Everyonelikestezgüino.Tezgüinomakesyoudrunk.Wemaketezgüinooutofcorn.Abottleof isonthetable.Everyonelikes . makesyoudrunk.Wemake outofcorn.1 1 1 11 0 0 00 1 0 11 1 1 0tezgüinomotoroiltortillaswine两行内容十分相近两个单词含义相近编码：让计算机理解人类语言6

基于统计的N-gram（1970after）语言模型：技术演化Before：P(小)·P(猫|小)·P(抓|小猫)·P(老|小猫抓)·P(鼠|小猫抓老)gram：P(小)·P(猫|小)·P(抓|猫)·P(老|抓)·P(鼠|老)gram：P(小)·P(猫|小)·P(抓|小猫)·P(老|猫抓)·P(鼠|抓老)基于神经网络的LSTM/GRU(2000after)Transformer(2017after)7

常见的深度学习模型框架，可用于解决Seq2Seq问题可以根据任务选择不同的编码器和解码器（LSTM/GRU/Transformer）EncoderDecoder我很聪明!Iamprettysmart!隐空间RepresentationEncoder-Decoder8

Outline一、语言模型二、Transformer三、ChatGPT四、DeepSeek五、新一代智能体9

10Transformer：理论架构创新自注意力机制：支持并行计算/全局上下文的理解能力多头注意力：从多个角度捕捉复杂的语义关系前馈网络/位置编码/层归一化：解决了传统模型的诸多局限性大型语言模型简史TransformerGPTBERTGPT-2T5GPT-3FLANGPT-3.5InstrutGPTChatGPTLLaMAGPT-4GPT-4oLLaMA-3.1405BOpenAI-o1DeepSeek-V32017201820182019201920202021202220222023202320242024202420251958JUNJUNOCTFEBOCTMAYSEP MARNOVFEB MARMARAPRDECJANDeepSeek-R1/cf2SudS8x8F0v/article/details/145695146OpenAI-o3

DecoderAttentionIsAllYouNeedEncoderNIPS2017，引用量15万+引入全新注意力机制，改变了深度学习模型的处理方式11Transformer:大模型的技术基座

Transformer:（自）注意力机制在理解语言任务时，Attention机制本质上是捕捉单词间的关系She is eating a green apple.中国南北饮食文化存在差异，豆花有南甜北咸之分。南方人一般喜欢吃甜豆花123Theanimaldid