【重点研报】中文大模型基准测评2024年10月报告-2024年度中文大模型阶段性进展评估.pptx

;;3.SuperCLUE-AI产品能力测评;精准量化通用人工智能（AGI）进展，定义人类迈向AGI的路线图;;;2024年值得关注的中文大模型全景图;2023-2024年度国内外大模型发展趋势;;;SuperCLUE大模型综合测评体系;SuperCLUE通用测评基准数据集;SuperCLUE-理科测评说明;SuperCLUE-理科测评说明;SuperCLUE-文科测评说明;SuperCLUE-Hard测评说明（精确指令遵循）;SuperCLUE-Hard测评说明（高阶推理）;本次测评数据选取了SuperCLUE-10月测评结果，模型选取了国内外有代表性的43个大模型在10月份的版本。;海外模型;;SuperCLUE通用能力测评：一级维度表现;SuperCLUE通用能力测评：二级细粒度分数;SuperCLUE-Hard成绩;;;;SuperCLUE-理科成绩;;;;;SuperCLUE-文科成绩;;;;;开源模型榜单;10B级别小模型榜单;2024年端侧小模型快速发展，可在设备端侧（非云）上实现本地运行，已在PC、手机、智能眼镜、机器人等大量场景展现出极高的落地可行性。

国内端侧小模型进展迅速，相比国外小模型，国内小模型在中文场景下展现出更好的性能表现

MiniCPM3-4B表现惊艳，取得总分53.16分的优异成绩，在SuperCLUE端侧5B小模型榜单中排名榜首。其中理科63.04分、文科69.87分、Hard26.56分，与同等参数量级模型Phi-3-Mini-4K-Instruct相比各个维度均有不同幅度的领先，展示出小参数量级模型极高的性价比。

Qwen2.5系列小模型同样表现不俗，Qwen2.5-1.5B-Instruct取得总分43.92分，有超过Gemma-2-2b-it和Phi-3-Mini-4K-Instruct等更大参数量级模型的效果。Qwen2.5-0.5B-Instruct是本次上榜中参数量最小的模型，仅有5亿参数，依然能达到部分70亿参数模型的效果。

SuperCLUE端侧5B级别小模型榜单;;国内大模型成熟度-SC成熟度指数;ChatbotArena是当前英文领域较为权威的大模型排行榜，由LMSYSOrg开放组织构建，它以公众匿名投票的方式，对各种大型语言模型进行对抗评测。将SuperCLUE得分与ChatBotArena得分进行相关性计算，得到皮尔逊相关系数：0.95，P值：3.60e-08；斯皮尔曼相关系数：0.87，P值：2.05e-05；说明SuperCLUE基准测评的成绩，与人类对模型的评估（以大众匿名投票的ChatbotArena为典型代表），具有高度一致性。;模型列表;;;;;;;ChatGPT-4o-latest在综合能力上领跑

ChatGPT-4o-latest取得77.81分，领跑多模态基准。其中多模态应用能力上有超过80

分的表现，展现出较强的场景适配性和落地能力。

国内最好模型hunyuan-vision取得71.95分，略低于GPT-4o有2.41分。

国内多模态大模型在部分细分任务上具备领先优势

Step-1V-8k在细粒度视觉认知任务如特征定位、对象计数方面表现优异；

hunyuan-vision在中文元素理解和推理任务中表现可圈可点，有超过GPT-4o的表现。;AIGVBench视频生成测评基准;AIGVBench-T2V榜单;;SuperCLUE-Image榜单;;;;;;;;;;;;;GLM-4-plus;;国际大模型表现依然突出

国际大模型表现依然突出：GPT4-Turbo-0125作为目前国际领先的大模型，在中文工业测评中总分74.8分，高于其他国内外模型，并且在各项子能力上均有较大优势。

在中文工业场景中国内模型很有竞争力

在中文工业场景中国内模型很有竞争力：可以看到本次上榜的国内模型在工业基础能力和应用能力上均表现不俗，国内最高分奇智孔明AInno-15B与GPT-4总分差距仅有1.4分，远小于国内大模型通用能力上与GPT4的差距。;琅琊榜竞技场介绍;琅琊榜竞技场-性价比象限;琅琊榜用户问题分析及对战数据;未来2-3个月SuperCLUE会持续完善大模型专项能力及行业能力的测评基准。现针对于所有专项及行业测评基准征集大模型，欢迎申请。有意愿参与测评的厂商可发送邮件至