多模态大模型安全评估指南.docxVIP

Q/LB.□XXXXX-XXXX

PAGE2

ICS

FORMTEXT

CCS

FORMTEXT31

FORMTEXT上海市地方标准

DBFORMTEXT31/TFORMTEXTXXXX—FORMTEXTXXXX

多模态大模型安全评估指南

Guidelinesforsafetyassessmentofmulti-modallargemodels

（征求意见稿）

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX发布

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX实施

FORMTEXT上海市市场监督管理局??发布

STYLEREF标准文件_文件编号DB31/TXXXX—XXXX

PAGEI

STYLEREF标准文件_文件编号DB31/TXXXX—XXXX

PAGEII

目次

前TOC\o1-1\h\t标准文件_一级条标题,2,标准文件_二级条标题,3,标准文件_附录一级条标题,2,标准文件_附录二级条标题,3,4857言 II

77031范围 1

222562规范性引用文件 1

274463术语和定义 1

43264概述 1

3765安全风险分类 1

183535.1包含违反社会主义核心价值观的内容 2

125815.2包含歧视性内容 2

298515.3商业违法违规 2

200205.4侵犯他人合法权益 2

110515.5有害和不良导向内容 2

56135.6应答尽答评估 3

214765.7无法满足特定服务类型的安全需求 3

219505.8其他风险 3

147546评估要点 3

152486.1文生文评估要点 3

83636.2文（图）生图评估要点 4

50756.3文（图、视频）生视频评估要点 5

299286.4文生音频评估要点 6

135276.5图生文评估要点 7

166.6多模态结合评估要点 8

163617评估实践 8

179937.1评估方法 8

146107.2评估流程 9

124077.3评估报告 10

5306附录A（资料性）多模态大模型安全评估要点示例 11

24789附录B（资料性）多模态大模型安全评估报告模板 15

29399参考文献 26

STYLEREF标准文件_文件编号DB31/TXXXX—XXXX

PAGE1

STYLEREF标准文件_文件编号DB31/TXXXX—XXXX

PAGEII

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由上海市互联网信息办公室提出并组织实施。

本文件由上海市信息安全标准化技术委员会归口。

本文件起草单位：上海人工智能实验室、上海市信息安全测评认证中心、公安部第三研究所、上海网之易璀璨网络科技有限公司、上海稀宇科技有限公司、上海喜马拉雅科技有限公司、蚂蚁科技集团股份有限公司、上海观安信息技术股份有限公司、上海商汤智能科技有限公司、上海宽娱数码科技有限公司、上海数据交易所有限公司、上海合合信息科技股份有限公司、达观数据有限公司、招商银行股份有限公司上海分行、算丰科技（北京）有限公司上海分公司。

本文件主要起草人：

STYLEREF标准文件_文件编号DB31/TXXXX—XXXX

PAGE1

STYLEREF标准文件_文件编号DB31/TXXXX—XXXX

PAGE2

多模态大模型安全评估指南

范围

本文件提供了多模态大模型在生成内容安全方面的评估指导，给出了安全风险分类、评估要点及评估实践。

本文件适用于拟上线备案的多模态大模型开展安全评估活动，也可为主管部门、第三方测评机构或企业自身进行安全性评估提供参考。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB/T25069—2022信息安全技术术语

术语和定义

下列术语和定义适用于本文件。

多模态大模型multi-modallar