2023年中国大模型行研能力评测报告.docx

FROSTSULLIVAN

沙利文

2023年中国大模型行研能力评测

AI变革行业创新发展

2023ChinaLargeLanguageModelIndustryResearchEvaluation2023年中国大規模モデル産業研究能力評価

报告提供的任何内容（包括但不限于数据

报告提供的任何内容（包括但不限于数据、文字、图表、图像等）均系头豹研究院独有的高度机密性文件（在报告中另行标明出处者除外）。未经头豹研究院事先书面许可，任何人不得以任何方式擅自复制、再造、传播、出版、引用、改编、汇编本报告内容，若有违反上述约定的行为发生，头豹研究院保留采取法律措施、追究相关人员责任的权利。头豹研究院开展的所有商业活动均使用“头豹研究院”或“头豹”的商号、商标，头豹研究院无任何前述名称之外的其他分支机构，也未授权或聘用其他任何第三方代表头豹研究院开展商业活动。

头豹研究院

弗若斯特沙利文咨询（中国）

大模型评测|2023/12

中国：人工智能系列

I摘要

n大模型是自然语言处理领域中深度学习技术的高级应用。通过对海量文本数据进行深度训练，能够吸收和提炼出丰富的语言学知识和语义内涵。这种大模型通常参数规模庞大，动辄数十亿甚至数百亿，从而具备理解和生成自然语言的能力，与人类沟通几乎无障碍。它的应用场景广泛，包括但不限于机器翻译、智能问答、文本摘要等多个领域。从技术发展的视角来看，语言模型的演进历程颇具启发性。起初，基于深度神经网络进行训练；随后，业界逐渐采用预训练结合微调的模式来提升性能；而如今，最先进的范式已经转向预训练结合提示训练，这无疑标志着模拟人类思维交流方面的又一重大突破。这一发展轨迹不仅凸显了技术的迅速迭代，更揭示了自然语言处理领域巨大的探索空间和创新潜力

n大模型能够显著增强研究报告的编写效率，通过采纳精细化的询问策略，分析师在研究过程中能够实现效率优化。此外，这一模型还能够提供全面的文本编辑支持，包括校正、查重、以及文风润色等功能，从而确保分析师提交的工作成果达到更高的质量标准

n大模型技术潮流兴起催生中国大模型百花齐放。沙利文与头豹研究院联手对12个大模型进行综合评估，以深入梳理中国大模型在行研领域的应用表现，为各界提供清晰深入的视角，以应对预训练大模型引发的人工智能浪潮

当前，自然语言处理技术中的预训练大模型正在全球范围内引领一场前所未有的人工智能革命。自ChatGPT推出以来，仅在中国地区，涌现出超过80个不同的预训练语言大模型。这些模型的参与者涵盖了中国顶尖的学术研究机构和领先的互联网科技企业，均希望能在这场技术浪潮中抢占先机。值得一提的是，过去一年里，中国学术和产业界也取得了显著进展，商汤的“商量”、百度的“文心一言”等大模型持续迭代，推动了中国大模型产业的快速发展。

沙利文与头豹研究院合作，基于数字行研解决方案的研究和实践经验，凭借百人分析师团队的匿名投票机制，筛选出12个大模型进行综合评估。这一评估旨在全面了解并梳理中国大模型在行研领域的应用表现。通过这份专业分析，各界能获取到清晰、深入的视角，以更好地理解和应对由预训练大模型引发的人工智能浪潮。

沙利文

头豹

LeadLeo

大模型评测|2023/12中国：人工智能系列

内容目录

1大模型行研能力评测背景及方法05页

?行研背景概述

?传统行研发展痛点

?数字行研革新

?大模型赋能行研

?评测大模型参与者

?评测方法与指标

?报告撰写能力

?行研基础能力

?行业理解能力

2大模型行研能力评测结果15页

?评测结果总榜

?报告撰写能力总榜

?报告撰写能力综合表现

?报告撰写高阶难度模块表现

?报告撰写低阶难度模块表现

?报告撰写能力分布

?行研基础能力总榜

?行研基础能力综合表现

?行研基础能力细分模块

?行研撰写能力分布

?行业理解能力总榜

?行业理解能力综合表现

?行业理解能力细分行业

研究目标

n