2025大模型原理、技术与应用：从GPT到DeepSeek.docx

______________. MGPT到Deenseek

______________.

MGPT到Deenseek

为什么是语言?

大模型又称大语言模型（LargeLanguageModels）

语言是人类交流思想、表达情感最自然、最深刻、最方便的工具

什么是自然语言处理?

自然语言指的是人类语言，特指文本符号，而非语音信号

n自然语言处理（NaturalLanguage

n自然语言处理（NaturalLanguageProcessing，NLP）用计算机来理解和生成自然语言的各种理论和方法

n属于认知智能是人类和动物的主要区别之一需要更强的抽象和推理能力

运算智能

能存储会计算

认知智能

能理解会思考

能听会说能看会认

自然语言处理成为制约人工智能取得更大突破和更广泛应用的瓶颈

深度学习的下一个大的进展应该是让神经网络真正理解文档的内容——

深度学习的下一个大的进展应该是

让神经网络真正理解文档的内容

——诺贝尔奖得主、图灵奖得主、深度学习之父GeoffreyHinton

如果给我10

如果给我10

——美国双院院士、世界知名机器学习专家

MichaelI.Jordan

自然语言理解

——图灵奖得主、MetaAI负责人

YannLeCun

——美国工程院士、微软前全球执行副总裁沈向洋

——美国工程院士、微软前全球执行

副总裁沈向洋

自然语言处理的发展历史

自然语言处理技术已经经历了五次范式变迁

浅层机器学习算法小规模专家知识19502010

浅层机器学习算法

小规模专家知识

1950~1990

预训练语言模型

深度学习

2018~2023

2010~2017

大模型

2023~2024

GPT

输出层吃土豆炖茄子。Transformer

输出层

吃土豆炖茄子。

Transformer

词嵌入层MMMMM输入层喜欢吃土豆炖茄子预训练阶段n

词嵌入层

MMMMM

输入层喜欢吃土豆炖茄子

预训练阶段

n哈工大位于____[知识]

n我在水果店看到了苹果、香蕉、____[语义]

n小明打了小红，然后她____[推理、指代]

n我一定推荐给朋友看，这部电影真是____[情感]n……

GPT

输出层褒义n使用建模能力更强的Transformer模型

输出层褒义

n在目标任务上精调整个预训练模型

任务层n接入的下游任务模型可以非常简单

任务层

TransformEr

TransformEr

词嵌入层MMMMMII输入层我爱吃马铃薯[PAD]精调阶段

词嵌入层

MMMMM

II

输入层我