2024年金融AIGC音视频反欺诈白皮书-交通银行顶象瑞莱.docx

金融AIGC音视频反欺诈白皮书

版权说明

本白皮书版权属于交通银行股份有限公司、北京顶象技术有限公司、北京瑞莱智慧科技有限公司，并受法律保护。转载、摘编或利用其他方式使用本白皮书文字或者观点的，应注明“来源：交通银行股份有限公司、北京顶象技术有限公司、北京瑞莱智慧科技有限公司”。违反上述声明者，编者将追究其相关法律责任。

编写组

主编：李肇宁

副主编：钱菲、陈树华、田天

参编人员：

王光中、赵晗、艾国、高峰、魏恪、王继科、史博、宋文利、李煜，刘荔园、萧子豪、刘汉鲁、孙空军、杨金威

参编单位：

交通银行股份有限公司、北京顶象技术有限公司、北京瑞莱智慧科技有限公司

金融AIGC音视频反欺诈白皮书

1

序

早在2018年，习近平总书记就强调要未雨绸缪，加强战略研判，确保人工智能安全、可靠、可控。此后，习近平主席又在多个国际场合倡议“不断提升人工智能技术的安全性、可靠性、可控性、公平性”“引领全球人工智能健康发展”[1]。在此背景下，我国陆续出台了一系列法律法规与政策文件，以加强AI的安全监管和规范应用。2024年7月，二十届三中全会通过的《中共中央关于进一步全面深化改革、推进中国式现代化的决定》中，特别强调了“完善生成式人工智能发展和管理机制。”“加强网络安全体制建设，建立人工智能安全监管制度。”[2]这是党中央统筹发展与安全，积极应对人工智能安全风险作出的重要部署。为此，国内发布了包括《国家新一代人工智能标准体系建设指南》、《生成式人工智能服务管理暂行办法》和《关于依法惩治网络暴力违法犯罪的指导意见》等多项政策，明确对利用深度合成技术发布违法信息的行为从重处罚。

在金融领域，基于人工智能的AIGC技术的普及带来了显著的创新潜力，但同时也给金融机构的业务安全、客户信任以及系统稳定性构成了新的挑战。特别是音视频领域的AIGC欺诈手段，已经成为金融机构必须面对的重要风险之一。这些欺诈行为不仅损害了金融机构的声誉和利益，更对广大客户的财产安全构成了严重威胁。

AI治理攸关全人类命运，必须采取切实有效的措施，贯彻人工智能安全理念，防范AIGC欺诈，保障金融业务安全。一方面，要加强技术研发和创新，提升AIGC技术的安全性和可控性。通过加强算法研究、优化模型设计、提高数据质量等手段，不断提升AIGC技术的准确性和稳定性，减少其被恶意利用的风险。另一方面，要加强监管和治理，建立健全人工智能安全监管制度。通过完善法律法规、加大执法力度、提高监管效能等手段，确保人工智能技术在金融领域的应用符合法律法规要求，保障金融业务的合规性和安全性。

基于此，交通银行、顶象技术、瑞莱智慧联合编写了《金融AIGC音视频反欺诈白皮书》，通过详实的数据、典型的案例和前瞻性的技术分析，系统介绍AIGC带来的欺诈风险，深入剖析金融机构面临的AIGC音视频风险挑战，并提出AIGC音视频反欺诈方案、技术实现路径及相关倡议，以期为金融机构提升AIGC欺诈识别和防范能力提供有益参考。

相信通过强化合规体系建设，加强反欺诈技术创新，构建全链条健康生态，守正创新携手共进，必将推动人工智能的健康发展，赋能金融高质量发展。

交通银行副行长兼首席信息官：

金融AIGC音视频反欺诈白皮书

2

目录

序 1

第一章AIGC带来的音视频欺诈风险 5

1.1AIGC驱动音视频技术创新的同时带来新风险 5

1.1.1图像和视频合成技术的发展 5

1.1.2音频合成技术的发展 6

1.2AIGC带来的“换脸”风险 6

1.2.1AIGC“换脸”的技术原理 6

1.2.2AIGC“换脸”的主要应用场景 6

1.2.3AIGC“换脸”带来的安全挑战 7

1.3AIGC带来的“拟声”风险 7

1.3.1AIGC“拟声”的技术原理 7

1.3.2AIGC“拟声”的主要应用场景 8

1.3.3AIGC“拟声”带来的安全挑战 9

1.4AIGC“换脸”“拟声”风险的特征 9

1.4.1生成内容的高仿真性 10

1.4.2内容生成的低成本和高效率 10

1.4.3难以溯源的隐匿性 10

1.4.4跨模态内容生成与融合 10

第二章AIGC音视频欺诈典型攻击方法 12

2.1AIGC“换脸”攻击分析 12

2.1.1AIGC“换脸”攻击目标 12

2.1.2AIGC“换脸”攻击过程 13

2.1.3AIGC“换脸