2023-AI行业：华为+AI大模型开源生态及大模型平台实践.pptxVIP

Al大模型开源生态及

大模型平台实践;CONTENTS

01●生态基石：AI大模型开源生态发展洞察分析

02●模型底座：华为AI大模型全景架构及应用案例

03●平台架构：大模型平台技术架构及技术分析;

01

生态基石：

Al大模型开源生态发展

洞察分析;

ChatGPT:

在GPT-3大模型的基础上，通过100人标注1年高质量人工数据，强化学习所训练出的大模型

图像生成：

stablediffusion、DALL·E2、紫东.太初等业界知名的可以进行图像生成的Al模型均是大模型

2022年

ChatGPT;

增大模型方法;

互联网

爬取海量数据

GPT-3

无标注数据

自监督学习

大规模分布式训练;

高素质领域专家参与数据标注和增强工作

可显性化的推理范式与基于人类反馈的迭代更新

GPT-3:海量数据无监督训练，具备很强的上下文学习能力

GPT-3.5:代码微调+指令微调学习，具备可显性化的思维链和推理能力

GPT+RLHF:具备向用户偏好对齐的能力，答案更符合人类预期

50+研究人员

5年探索研究

巨量的通用领域无标注数据

GPT-3:从45TB原始文本语料筛选出570+GB高质量数据(约3000亿单词)

GPT-3.5:训练数据包含5400万个代码库，仅Python语言就有159GB

ChatGPT模型还涉及自建/第三方客户/线上用户等来源的数据;

RLHF带来的威力

·有效的回应：

·用实的回应：默认倾向长答案·公正的回应：特别针对政治事件·拒绝不当问题：

利用RLHF,chatGPT性能领先一众模型：

如左图，chatGPT输出4个结果都对

·对话者更倾向于“业界先进企业一般100天”;

其他回答对于对话者无帮助；

即，RLHF目的是提升chatGPT输出答案有效性；;

模型名;

模型和数据解决方案

ChatGPT模型

基础软件数据

硬件

●智谱AI

●垂类初创等;

下游：应用与分发

内容生产厂商

内容创作应用服务商

内容分发平台

1)协助用户使用模型和算法生成内容，如图像、文本、语音等。

2)将生成的丙容分发到各种渠道，

如社交媒体、娱乐平台、新闻媒体等。;

上下游各赛道百花齐放，商业模式持续探索

以ChatGPT为代表的AIGC行业，上游主要包括数据供给方、算法/模型机构、创作者生态以及底层配合工具等，

中游主要包括文字、图像、音频、视频等数字内容的处理加工方，下游主要是各类数字内容分发平台、消费方及相关服务机构等。;;

模型底座：

华为Al大模型全景架构

及应用案例;

高并发分布式训推框架

·多维混合并行：自动寻优，数据、算子、

pipeline、模型自动切分，大规模并发执行

·多级存储优化：全局内存复用、稀疏特征缓存，

CPU/NVMeoffload

大规模集群算力稳定输出

·芯片内置200G网卡，NPU规模从1K→8K·千卡规模集群线性度55%→80%;

昇腾大模型沙盘，构筑中国大模型创新高地;

业界AI框架均已开始布局大模型技术，探索通用AI能力

主流AI框架开始从并行及存储优化能力探索支持大模型

-2021— ;

IDC

PyTorch:33%飞桨：26%

TensorFlow:22%

具思：8%

其他：7%+;

AI框架持续迭代和升级，大模型、AI4S、动静统一是主流技术趋势;

昇思持续演进，MindSpore2.0全新技术升级

原生支持大模型，从AI框架走向AI+HPC融合;生态足迹走进国内大中城市

京津冀

中西部长三角

成渝

人工计算中心

粤港溃;

·新增Expander微分机制

·新增Trace的GraphCapture机制

·大算子融合

·动态算子下发流水化

动态图执行性能：平均提升50%(vs1.10版本);

开发训练

高模块化，开箱即用

·覆盖CV/NLP/AIGC/Rec等热门领城，10行代码实现模型定义、训练、微调和验证

·实现典型模型开发效率月-周级别

MindFormers

预制预训练模型

GpTVT/MAEBERT

BLOOMLaMA

预制下游任务

文本生成问答

图像分类填词

Min