电力人工智能多模态大模型创新技术及应用.pptx

电力人工智能多模态大模型创新技术与应用

西安交通大学电气工程学院

2025年2月;

1、研究背景

2、关键技术

3、应用案例

4、未来展望;

背景1——人工智能的概念及发展

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；其在历史上经过多个发展时期，形成了不同的技术流派；深度学习是目前主流。;

在人工智能领域，数据、算力与算法构成发展基石——数据驱动模型训练，算力支撑复杂计算，算法优化技术路径，三者协同推动人工智能向更高阶形态演进。;

早期的深度学习受限于计算能力和数据规模，难以发挥优势。随后多层感知机与卷积神经网络结合反向传播算法，显著提升了模型的学习能力。随后，基于注意力机制的Transformer架构改变了自然语言处理

的范式，使大规模预训练成为可能。近年来，大模型凭借超大规模参数和海量数据学习，在多模态学习、推理和通用人工智能方向取得重要进展，为人工智能的发展开启了新的阶段。;

大模型井喷式发展

自从ChatGPT在2022年问世以来，全球大模型发展迅速，百种大模型竞相发布，推动性能、规模和应用的全面突破，成为科技进步的重要动力源。;

传统电网：传统电力系统人工依赖度高，存在资源配置低效和故障响应不及时等问题。

新型电网：人工智能赋能后，通过实时调度优化、智能维护和精确能源管理，可大幅提升电网的运行效率、稳定性与可持续性。;

应用角度

电力负荷曲线图设备故障诊断图

电力数据

开源部分代码

差异巨大、

无法使用

文本数据理解有误图像数据分析偏差

模型趋于闭源化

现有单任务算法模型

可靠性不足

你注位置日郴检测模型训

名曲W

程B屋图片，处理

文本文字识别模型

Gasdscrimination

电力复杂场景下数据的智能识别方法;

背景4——自研电力大模型意义重大(数据层面)

文本数据电气信号图像与视频;

传统电力Al模型基于特定任务开发，大多为单模态算法，综合成本高、智能性与泛化性不足；开源Al大模型缺少电力领域预训练，专业知识缺失，处理实际电力任务能力差。;

基于国产计算设备的电力大模型训练技术开发面向电力场景的大模型边缘计算技术开发

HYGON

电力设备

场景边缘

计算要求

海光DCU华为昇腾天数智芯

要求

数据模态多任务形式多样专业性要求高

电力大模型推理加速技术

要求

国产边缘计算设备推理框架

基于国产计算设备与电力大模型应用要求开发针对性的高效训练算法;

13/37;

提供模型

3模型训练：电力大模型分布式训练关键技术

预训练：基础模型能力训练支持分混合立体并行训练方案

布式井技术数需并行模型并行

纯文本Transfermer架构行训练体系张量并行流水线并行

预训练白回归预测

支持分布式并行训练

提供电后训练：能力增强与偏好对齐

多模态编一端母解码架构；力多模

预训练统一预训练框架态基础技术指令微调技术有监督训练

体系人类反读强化学习人类偏好对齐;

1、数据生成：纯文本数据制作管线

预训练语料库制作大规模、自动化的语料筛选清洗管线

为预训练提供充足的专业领域知识注入

原始数据搜集质量过滤去重隐私保护

A.B.

MMM;

构建层次丰富、多样性好、知识粒度细的电力场景大规模多模态数据集，构建了8大类数据量超100万条，为多模态大模型在多场景、多任务的训练提供数据支持

16/37;

电力图像编码器

分块

线性映射层

统一的特征序列

电力文本编码器

预定义词表

…“绝缘”:20822….“由”:30265….“组成”:62034..;

电力视频编码□

电气信号编码[

多模态编码器多层Transformer架构

为电力领域多模态、