大模型基准测试体系研究报告.docx

目 录

一、大模型基准测试发展概述 1

（一）大模型基准测试的重要意义 2

（二）蓬勃发展的大模型基准测试 4

（三）大模型评测发展共性与差异 9

二、大模型基准测试现状分析 11

（一）大模型基准测试体系总体介绍 11

（二）代表性的大模型基准测试体系 17

（三）问题与挑战 20

三、大模型基准测试体系框架 23

（一）“方升”大模型基准测试体系 23

（二）“方升”自适应动态测试方法 27

（三）“方升”大模型测试体系实践 30

四、总结与展望 35

（一）形成面向产业应用的大模型评测体系 35

（二）构建超自动化的大模型基准测试平台 36

（三）探索AGI等先进人工智能的评测技术 36

图目录

图1大模型发展历程 1

图2大模型基准测试领域占比分布 5

图3大模型基准测试数据集发布时间 6

图4大模型基准测试数据集发布机构排名 7

图5大模型基准测试数据集发布国家分布 8

图6大模型基准测试数据集开源分布 9

图7大模型基准测试体系构成 11

图8大模型基准测试流程 13

图9大模型基准测试工具LLMeBench框架图 17

图10大模型评测基准HELM原理图 18

图11“方升”大模型基准测试体系 24

图12自适应动态测试方法原理图 27

图13大模型基准测试标签体系 28

图14“方升”大模型首轮试评测模式 31

图15开源大模型评测榜单结果 33

表目录

表1代表性大模型官方发布结果中使用的评测数据集 6

附表1语言大模型通用能力的代表性评测数据集 38

附表2语言大模型行业能力的代表性评测数据集 39

附表3语言大模型应用能力的代表性评测数据集 40

附表4语言大模型安全能力的代表性评测数据集 41

附表5多模态大模型通用能力的代表性评测数据集 41

一、大模型基准测试发展概述

近几年，大模型推动人工智能技术迅猛发展，极大地拓展了机器智能的边界，展现出通用人工智能的“曙光”，全球各大科技巨头和创新型企业纷纷围绕大模型加强布局。如图1所示，2018年，谷歌公司提出基于Transformer实现的预训练模型BERT，在机器阅读理解水平测试SQuAD中刷新记录。同年，OpenAI公司发布了第一代生成式预训练模型GPT-1，擅长文本内容生成任务。随后几年，OpenAI相继推出了GPT-2和GPT-3，在技术架构、模型能力等方面进行持续创新。2022年11月，OpenAI发布的ChatGPT在智能问答领域上的表现引起产业界轰动。除了大语言模型，2023年，OpenAI还发布了多模态大模型GPT-4。同期国内大模型的发展也呈现不断加速态势，已经发布了华为“盘古”、百度“文心一言”、阿里“通义千问”、腾讯“混元”和智谱“清言”等200多个通用和行业大模型产品。

图1大模型发展历程

来源：中国信息通信研究院

随着大模型产品的不断推出，对大模型的能力进行评测逐渐成为产业界关注的重点。1950年代提出的图灵测试（TuringTesting）作为一种经典的人工智能测试方法，一直被认为是衡量机器智能水平的“试金石”。2023年7月《自然（Nature）》发表文章《ChatGPTbroketheTuringtest—theraceisonfornewwaystoassessAI》，指出图灵测试已经无法满足大模型的评测要求，应该探索新方法来评估人工智能水平。

大模型基准测试（Benchmark）的目标是通过设计合理的测试任务和数据集来对模型的能力进行全面、量化的评估。大模型基准测试体系涵盖了大模型的测评指标、方法、数据集等多项关键要素，是指导大模型基准测试落地实践的规范。

（一）大模型基准测试的重要意义

当前，基准测试已赋能大模型“建用管”全生命周期的多个阶段，在大模型研发、应用和管理中扮演重要角色，主要表现在：

一是指引学术研究。过去一年，在ChatGPT的引领下，国内外

的大模型企业也从最初摸索和尝试，逐渐步入研发和应用深水区。大模型研发迭代周期正在缩短，OpenAI在一年时间内先后发布ChatGPT、GPT4、GPT-4V等多款大模型，Meta的LLaMA大模型一经发布便迅速带动了Alpaca、Vicuna等几十个开源大模型，形成“羊驼”开源大模型生态圈。在如此高的迭代频率下，大模型基准测试可以验证模型研发效果，快速挖掘大模型当前的不足与痛点问题，推动大模型能力持续提升。并且，大模型评测不应该是开发流程的终点，

而应