金融大模型应用评测报告-摘要版2024.pdf

金融大模型应用评测报告

摘要版

（2024）

上海人工智能实验室

上海财经大学

上海库帕思科技有限公司

二零二四年十二月

前言

为进一步推动金融科技创新应用的落地，切实提升金

融服务的智能化水平，降低企业数字化转型成本，并积极

探索金融垂直领域大模型应用的新理念、新机制和新手段，

上海人工智能实验室和上海财经大学根据上海人工智能协

会和上海金融业联合会共同发布的《金融大模型应用评测

T/SAIAS019—2024

指南》（）团标，采用上海库帕思科技

有限公司依照上述团标制定的评测数据集《库帕思金融大

2024

模型评测数据集（版）》，形成了《金融大模型应用评

2024

测报告（）》。

目录

一、金融大模型应用评测范式1

（一）评测对象范围1

（二）评测内容与方法4

（三）评测数据集5

（四）评测工具6

（五）综合评估分数7

二、金融大模型应用评测结果8

三、金融大模型应用评测总结11

说明14

金融大模型应用评测报告2024（摘要版）

一、金融大模型应用评测范式

（一）评测对象范围

本次测评对象包括国内外、开闭源、通用基模与金融垂

模，共计14个主流大模型机构的20个模型。评测围绕金融

行业的核心业务需求及大模型在金融场景中的适配性，结合

银行、证券、保险、基金等重点应用场景，形成“模型基础能

力”、“金融安全与价值对齐能力”、“金融风险控制能力”、“金

融专业认知能力”、“金融业务辅助拓展能力”5大测评维度。

具体详情参见表1-1。

表1-1参评模型清单

机构模型类型简介

OpenAIGPT-4o基模GPT-4oOpenAI推出的高

（多模态）级多模态模型，能够接受包括文本、

音频、图片和视频在内的任意组合输

入，生成文本、音频和图片的任意组

合输出。与现有模型相比，

GPT-4o在视觉和音频理解

方面表现尤其出色。

AnthropicClaude-3.5-Sonnet基模Claude-3.5-Sonnet是

（多模态）Anthropic发布的升级版，在推理、编

码和数学能力方面表现尤其出色。

谷歌Gemini-1.5-pro基模Gemini-1.5-pro是GoogleDeepMind发

（多模态）布的强大多模态模型，可处理各种推

理任务。Gemini-1.5-pro可以一次处理

大量数据，包括2小时的视频、19小