《金融大模型应用评测指南》.docxVIP

Q/LB.□XXXXX-XXXX

PAGE2

ICS

FORMTEXT?????

CCS

FORMTEXT?????

FORMTEXT点击此处添加CCS号

FORMTEXT?????团体标准

T/FORMTEXTXXXFORMTEXTXXXX—FORMTEXTXXXX

FORMTEXT?????

FORMTEXT金融大模型应用评测指南

FORMTEXTGuidetoEvaluatingFinancialLargeModelsApplication

FORMDROPDOWN

FORMTEXT?????

FORMDROPDOWN

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX发布

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX实施

FORMTEXT???????发布

STYLEREF标准文件_文件编号T/XXXXXXX—XXXX

PAGEII

STYLEREF标准文件_文件编号T/XXXXXXX—XXXX

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

本文件由上海市人工智能行业协会提出并归口。

本文件起草单位：

本文件主要起草人：

STYLEREF标准文件_文件编号T/XXXXXXX—XXXX

PAGE6

STYLEREF标准文件_文件编号T/XXXXXXX—XXXX

目次

TOC\o1-2\h\z\u前言 II

1范围 2

2规范性引用文件 2

3术语和定义 2

3.1大模型largemodel 2

3.2金融语料financialcorpus 2

3.3单模态维度Monomodaldimension 2

3.4多模态维度multimodaldimension 2

3.5价值对齐valuealignment 2

4缩略语 2

5概述 3

5.1基本框架 3

5.2评测维度 3

6评测内容 5

6.1模型基础能力评测 5

6.2金融安全与价值对齐能力评测 5

6.3金融风险控制能力评测 6

6.4金融专业认知能力评测 7

6.5金融业务辅助拓展能力评测 8

7评测方法 10

7.1评测数据集 10

7.2评测工具 10

参考文献 12

附录A 13

金融大模型应用评测指南

范围

本文件提出了大模型在金融垂直领域应用需要具备的核心能力及评测方法，包括模型基础能力、金融安全与价值对齐能力、金融风险控制能力、金融专业认知能力、金融业务辅助拓展能力五个方面。

本文件适用于大模型在银行、证券、保险、基金、信托等金融垂直领域应用效果相关的评测工作。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB/T25069-2010信息安全技术术语

GB/T41867-2022信息技术人工智能术语

GB/T5271.1-2000信息技术词汇第1部分：基本术语

术语和定义

GB/T41867-2022界定的以及下列术语和定义适用于本文件。

大模型largemodel

在大量数据上训练得到，具有复杂计算架构，能处理复杂任务，且具备一定泛化性的深度学习模型。

金融语料financialcorpus

金融领域相关文本、图片、音频、视频等数据的集合，可用于训练和优化金融大模型，以提升其在金融领域的应用效果。

单模态维度Monomodaldimension

单模态维度主要包括文本、图像、音频3个二级维度。

多模态维度multimodaldimension

多模态维度主要包括图文、文音、图音、图文音4个二级维度。

价值对齐valuealignment

大模型的能力和行为与人类的价值、真实意图和伦理原则相一致，以确保人类与人工智能协作过程中的安全与信任。

缩略语

AI：人工智能（ArtificialIntelligence）

IPO：首次公开招募（InitialPublicOffering）

概述

基本框架

本文件聚焦大模型在金融垂类领域的应用效果评估，从模型基础能力、金融专业认知能力、金融业务辅助拓展能力、金融风险控制能力、金融安全与