从大模型、智能体到复杂AI应用系统的构建——以产业大脑为例.docx

浙江大学DeepSeek系列专题线上公开课（第二季）

从大模型、智能体到复杂AI应用系统的构建

——以产业大脑为例

2025.03杭州

提纲

?大模型推理能力快速提升

?推理模型和思维链(CoT)

?智能体是什么？

?四链融合产业大脑案例

大模型推理能力快速提升

快速回望历史——大模型的产生

nChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累

基于模板和规则的前深度学习阶段

基于规则

基于规则的少量数据处理

1950年开始

开始模仿人脑进行大量数据的标记和训练对人脑学习过程进行重根据一定范

开始模仿人

脑进行大量

数据的标记

和训练

对人脑学习

过程进行重

根据一定范围的数据进行参数分类

进行海量数据学习训练，人类的反馈信息成为模型学习的内容

ChatGPT

ChatGPT

点关注

2022年2018年2019年2020

2022年

GPT-3GPT-1GPT-2Instruct

GPT-3

GPT-1

GPT-2

InstructGPT

M2m-100BigBirdT5BARTMachineLearningTransformerALBERTXLMRoBERTaBERT

M2m-100

BigBird

T5

BART

MachineLearning

Transformer

ALBERT

XLM

RoBERTa

BERT

神经网络

GAN

GAN

1990年开始；2006年获得突破

1990年开始；

2006年获得突破

1980年开始

2017年

ELECTRA

ChatGPT经过多类技术积累，最终形成针对人类反馈信息学习的大规模预训练语言模型

里程碑：ChatGPT的成功

OpenAI公司于2022年11月发布ChatGPT，短短三个月内日活跃用户从零增长至超过3000万，标志着对话式AI进入大众应用阶段

三阶段训练技术构建GPT3.5ChatGPT日活量（2022.11-2023.02）

里程碑：ChatGPT的成功

AI2.0时代生成式AI自动生成开放的文本、图像、音频、视频等内容文本生成文章报告

AI2.0时代

生成式AI

自动生成开放的文本、图像、音频、视频等内容

文本生成

文章报告问答内容

视频生成

语音生成

语音与对话影视与广告

代码生成

样例代码测试用例

图像生成

人像写真广告图片

多模态生成

文生图文生视频

相对通用的人工智能一个大模型解决多个问题

自适应地应对复杂外界环境的挑战

AI1.0时代

辨别式AI

对现有内容进行分析、分类、判断、预测

分类

图像分类文本分类信用评估

客户流失预测

客户流失预测

回归

房价预测销量预测

聚类

客户分群新闻聚类广告定向社区发现

专用人工智能

一事一模型，每个模型完成特定智能任务解决特定的智能问题

大模型能力不断增长

大模型在知识问答、数学、编程等能力上达到新的高度，多种任务上的表现超过人类水平。

Source:/sota/mu

Source:/sota/multi-task-language-understanding-on-mmlu

大模型发展迅速，参数量从百亿到万亿规模大模型能力涌现，多个任务上性能超越人类水平

早期大模型在推理能力上存在明显短板

大语言模型易产生幻觉，在数学推理方面表现在推理能力严重不足，体现在简单数值比较错误、多步推理能力弱、推理不一致等

谁是第一个登上月球的人

请告诉我独角兽的历史起源

尤里·加加林是第一个登上月球的人。

独角兽被记载在大约公元前10000年漫游亚特兰蒂斯平原，它们经常与皇室联系在一起。

模型的回答与事实不符，因为尼尔·阿姆斯特朗

才是第一个登上月球的人，而尤里·加加林是第一个进入太空的人。

模型的回答是虚构的，因为没有经过验证的现实世界证据支持独角兽在亚特兰蒂斯的存在，特别是与皇室的关联。

违反事实，专业知识不足

https://www.lakera.ai/blog/guide-to-hallucinations-in-large-language-models

事实性幻觉问题

9.119.9?简单数值比较错误多步推理错误

早期大模型在推理能力上存在明显短板

大语言模型易产生幻觉，在数学推理方面表现在推理能力严重不足，体现在简单数值比较错误、多步推理能力弱、