2025年前AIGC安全风险报告（中文版）.pdfVIP

到2025年，生成式人工智能的安全风险

1

总结

人工智能的世代发展有可能带来巨大的全球效

益。但它也将通过增强威胁行为者的能力和提高我们的定义和范围

攻击的有效性来增加安全和安保风险。安全保障：公民社会和人民的保护、福

祉和自主权。

•如果管理得当，生成性人工智能技术的开发和采用人工智能（AI）：通过执行认知任务来实现

有可能带来巨大的好处。许多部门的生产力和创目标的机器驱动能力。

新，包括前沿人工智能：功能强大的通用人工

医疗、金融和信息技术将加速发展。智能模型，可以执行各种任务，并与

•生成型人工智能还将显著增加安全保障风险。到当今最先进的模型相匹配或超越。

2025年，生成性人工智能更有可能放大现有风险，而生成人工智能（GenAI）：可以创建新内

不是创造全新的风险，但它将大幅增加一些威胁的速容的人工智能系统。最流行的模型通过

度和规模。预测技术进步的困难为技术惊喜创造了文本提示生成文本和图像，但有些模型

巨大的潜力；其他威胁使用图像等其他输入来创建音频、视频

几乎可以肯定的是，会出现意想不到的情况。和图像。

•这些技术的迅速扩散和日益普及几乎肯定会使不那大型语言模型（LLM）：在大量基于文本

么复杂的威胁行为者能够进行以前无法实现的攻击。的数据上训练的模型，通常来自互联网。

•数字领域的风险（如网络攻击、欺诈、诈骗、冒充、

风险：涉及暴露于有害影响的情况。

儿童性虐待图像）最有可能显现，并在2025年前产

生最大影响。威胁：一种恶意风险，涉及一个有

意图的行为者。

•随着技术的发展和普及，政治制度和社会面临的风

险将增加。合成媒体的扩散有可能侵蚀民主参与和该评估未考虑与GenerativeAI相关的军事

公众对政府机构的信任。风险。

•随着GenerativeAI嵌入更多物理系统，包括关键基础设施，物理安全风险可能会上升。

•总风险很大。各国、行业和社会为减轻这些风险所做的准备各不相同。全球监管不完整，很可能

无法预测未来的发展。

这项评估借鉴了广泛的来源，包括现有和新的研究、情报评估、专家见解和开源。

2

细节

1.生成人工智能的发展和应用与许多其他技术交

叉。其开发和使用将产生广泛影响

-积极和消极-国际。技术进步的速度很快，

对如何衡量和比较人工智能模型的性能缺乏

共识，以及该技术的广泛能力，这意味着安

全和安保影响的评估具有挑战性。因此，我

们将分析局限于关键风险，并将有限的时间

范围定为2025年。我们排除了对生成人工

智能军事应用所带来的风险的考虑。

2.先行者地位和媒体广泛关注的优势加速了全

球对生成的兴趣

人工智能。自2020年以来，生成型人工智能

的进展大大超过了专家的预期，模型在少数

特定任务中的表现