人工智能应用系统内生安全蓝皮书（2024年）.docx

人工智能应用系统

内生安全蓝皮书

(2024年)

中国通信学会内生安全专业技术委员会2024年11月

版权声明

本蓝皮书版权属于中国通信学会内生安全专业技术委员会，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国通信学会内生安全专业技术委员会”。违反上述声明者，本学会将追究其相关法律责任。

专家组和撰写组名单顾问(以姓氏笔划为序):

邬江兴

专家组：组长：

张帆国家数字交换系统工程技术研究中心教授

副组长：

黄瑞阳国家数字交换系统工程技术研究中心教授

成员(以姓氏笔划为序):

姓名

单位

职务

陈曦

国家数字交换系统工程技术研究中心

助理研究员

郭威

国家数字交换系统工程技术研究中心

副教授

邹宏

复旦大学大数据研究院

副院长

尚玉婷

复旦大学大数据研究院

助理研究员

李建鹏

郑州大学

助理研究员

李邵梅

国家数字交换系统工程技术研究中心

副研究员

高彦钊

国家数字交换系统工程技术研究中心

副研究员

撰写组(按单位排名)

单位

姓名

紫金山实验室

杜加玉

紫金山实验室

黄炜

紫金山实验室

苗馨远

紫金山实验室

曹毅

紫金山实验室

董方旭

紫金山实验室

杨秋龙

紫金山实验室

朱进

紫金山实验室

黄潇

紫金山实验室

陈鑫

紫金山实验室

周志中

紫金山实验室

彭自文

紫金山实验室

乔明起

序言

当前人工智能(ArtificialIntelligence,AI)技术已经成为推动社会经济发展的新引擎。然而，正如哲学家黑格尔指出的那样：“一切事物都是自在性矛盾的”,任何伟大的技术发明在创造前所未有的机遇同时，也一定会衍生或伴随前所未有的挑战。当前数据投毒、算法偏见、模型脆弱性和运行环境内生安全威胁等问题频发，不仅影响到AI应用系统可用性和可靠性，还能会触及隐私保护、网络安全、社会稳定乃至生命财产安全和认知混乱等可信性方面的技术伦理议题。因此，构建一套能够抵御内外部威胁、确保AI健康可持续发展的安全体系，已成为智能时代不可或缺的刚需，必须防范重蹈“先发展后治理”陈旧理念和模式覆辙。

哥德尔不完备性定理指出，即使是最精密细致设计的系统，也无法证明不存在不确定性风险。AI应用系统涵盖了从数据治理、模型训练、部署应用，到运行监控及反馈优化等环节，每一个步骤都有可能引入不确定性因素，主要表现在：一是AI应用系统运行环境仍基于冯·诺依曼的存储程序控制机理或架构，不可避免的存在“娘胎里带来基因缺陷”;另一方面，AI模型算法特有的“黑盒”效应具有不可解释性、不可判识性和不可推论性，使其成为悬在任何实用化的AI应用系统之上的“达摩克利斯之剑”。

现有AI安全防御方法主要依赖“亡羊补牢，吃一堑长一智”的经典反脆弱性方法论，这种策略尽管能够在一定程度上防范已知威胁，

但任何附加的安全算法或措施都无法杜绝自身存在的内生安全问题，因而不可能从根本上规避“反复踩坑的恶性循环”,有效抵御广义不确定性安全威胁。网络内生安全理论的提出，建立在必要多样性定律和相对正确公理基础上的“构造决定安全”方法，能够在AI应用系统设计之初就导入动态异构冗余构造和策略裁决功能，使其具备应对任何差模性质不确定性影响的能力，可为提升AI应用系统网络韧性或广义功能安全提供全新的视角和解决方案。

智能时代的技术实践需要正确的安全理论指引，在设计人工智能应用系统时，不仅要充分考虑网络韧性架构设计，还要为适应可能出现的各种未知安全风险留有足够余地。这既是人工智能技术发展的必然要求，也是防范社会性系统风险的必要条件。本蓝皮书是一篇集科学性、实用性和前瞻性于一体的报告，不仅能为学术界提供宝贵的理论参考，而且可为产业界提供一套行之有效的安全指南，更可以为一体化的设计“高可信、高可靠、高可用”AI应用系统提供一个具有普适性意义的解决方案，帮助我们在未来的发展道路上走得更加稳健，让“泛在化AI技术向善”。

前言

2024年1月，人工智能(AI)新锐巨头OpenAI公司的创始人兼首席执行官萨姆·奥尔特曼(SamAltman)在世界达沃斯论坛上强调，AI带来的技术革命不同于以往，而是成为了一种“不可思议的提高生产力的工具”。作为最具颠覆性的新兴技术之一，AI发展在为人类社会经济发展带来巨大红利的同时，也引发了一系列现实危害和风险挑战，主要包括数据窃取、隐私泄露、算法歧视、对抗攻击等安全威胁，它们不仅威胁着个人信息的保护，影响着企业的信誉和运营安全，甚至对国家安全也构成了潜在的隐患，这些问题需要我们持续关注并采取有效措施加以防范和解决。

当前人工智能应用系统的安全威胁是由于其网