2024年基于大语言模型的新型电力系统运行与仿真初探报告-香港中文大学.docx

香港中文大學(深圳)

TheChineseUniversityofHongKong,Shenzhen

基于大语言模型的新型电力系统运行与仿真初探

赵俊华

香港中文大学(深圳)

深圳市人工智能与机器人研究院

01n个

引言：Al发展历史与趋势

1Al近代史

Al现代史

3LLM发展历程

人工智能Al近代史：从早期的逻辑程序到神经网络的兴起

决策式Al生成式Al

为

为开

决策+认知+感知+学习+执行+社会协作

小规模专家知识

浅层机器学习算法

深度机器学习算法

大规模预训练模型

1956年

历史上第一次人工智能研讨会召开，标志着人工智能的诞生

1965年

HerbertSimon和Allen

Newell开发了一个名为LogicTheorist的程序，它可以用逻辑推理的方式解决数学证明问题，这被认为是人工智能领域的一次重大突破

早期萌芽阶段(1950s~1980s)

1986年

GeoffreyHinton等人提出了一种名为Backpropagation的神经网络训练算法，被认为是神经网络技术的一次重大突破

1997年

国际象棋世界冠军Kasparov在与IBM开发的DeepBlue计算机的比赛中失利，标志着人工智能开始在一些传统的思维活动上超越人类

2006年

深度学习技术发明，带来了革命性突破

技术积淀阶段(1980s~2010年)

2011年

IBM的Watson计算机在美国电视节目Jeopardy中战胜了两位前冠军

2013年

DeepMind提出基于深度学习的强化学习模型

2014年

GAN可生成图像但分辨率有限

2015年

Google的AlphaGo程序在围棋比赛中战胜了世界冠军李世石，标志着人工智能开始在更复杂的思维活动上超越人类

快速发展阶段(2011年~2016年)

2017年

Transformer架构提出，大模型发展打下基础2018年

GPT与BERT模型推出，启“大模型时代”

2022年

ChatGPT推出

2024年

Sora推出

爆发阶段(2017年~)

来源：艾瑞2023年AIGC场景应用展望研究报告

人工智能Al现代史：深度学习的突破和近年来的发展

2014年2017年2020年2023年

语言处理Kosmos-1BEiT-3Transformer

语言处理

Kosmos-1

BEiT-3

Transformer类架构

LSTM

Seq2Seq

GRUTransformerBERT

GRU

XLNetGPT-2

XLNet

GPT-2

GPT-4

ChatGPTGPT-3GPT-1

ChatGPT

GPT-3

深度神经网络

生成式对抗神经网络GAN

视觉处理

视觉处理

VGGResNet

VGG

AlexNetYOLODenseNet

AlexNet

CNN类架构

传统的自然语言/计算机视觉处理

*来源：艾瑞2023年AIGC场景应用展望研究报告

引入人工反馈强化学习(RLHF)处理图像

引入人工反馈强化学习

(RLHF)

处理图像

引入注意力机制Transformer类

引入注意力机制

架构

DETRT2T-ViT

DETR

PaLM-E

ViT

(Vision

(VisionTransformer)

Transformer类架构

预训练大模型成为趋势多模态+大模型

LLM大模型为什么突然火了?

●早期NLU类模型(BERT)兴起正是因为相关任务水平大幅提升，而NLG的效果还达不到令人惊艳的程度

●NLU类模型发展至今已有4~5年的时间，已进入到“难啃的骨头”阶段，研究热度逐渐降低

●BERT的出现降低了NLP从业的准入门槛，那么大模型的出现则是进一步降低了各个行业的准入门槛

●以ChatGPT为代表的LLM不是仅停留在模型层面的概念，而是通过指令交互的形式使人人都能体验AI

●生成、交互类任务效果已达到“效果阈值”,模型生成的东西已不再是人工智障●智慧涌现现象(emergence)使得人们看到了通用人工智能(AGl)的曙光