2023前沿大模型的风险、安全与治理报告.pdfVIP

本报告的讨论范围

专⽤AI(NarrowAI)通⽤AI(GeneralAI)

具有危险能⼒的专⽤AI前沿AI(FrontierAI)

讨论范围

(例如⽤于⽹络攻击、⽣物⼯程(例如前沿⼤模型，以及未来可

潜的AI模型)能的AGI)

在

伤

害

低⻛险的专⽤系统次前沿的基础模型

例如AlphaGo、AlphaFold)(例如GPT-3)

通⽤性

注：1本报告的讨论范围参考了全球AI安全峰会的讨论范围设定，⽩⽪书得到图灵奖得主YoshuaBengio等学者专家的建议。

2在不同章节，根据参考资料或讨论语境，前沿⼤模型、前沿AI、AGI等概念可能存在混⽤的情况。2

术语定义

本报告聚焦⸺前沿⼤模型：

●前沿⼤模型(FrontierLargeModel)：能执⾏⼴泛的任务，并达到或超过当前最先进现有模型能⼒的⼤规模机器学习模型，是⽬前最常⻅的前

沿AI，提供了最多的机遇但也带来了新的⻛险。

模型能⼒相关术语，主要参考全球AI安全峰会、前沿模型论坛、AI全景报告：

●前沿AI(FrontierAI)：⾼能⼒的通⽤AI模型，能执⾏⼴泛的任务，并达到或超过当今最先进模型的能⼒，最常⻅的是基础模型。

●通⽤AI(GeneralAI)/专⽤AI(NarrowAI)：⼀种设计⽤来执⾏任何/特定认知任务的⼈⼯智能，其学习算法被设计为可以执⾏各种各样的任务/少

数特定任务，并且从执⾏任务中获得的知识可以/不可以⾃动适⽤或迁移到其他任务。

●通⽤⼈⼯智能(ArtificialGeneralIntelligence,AGI)：可在所有或⼤部分有经济价值的任务中达到或超过⼈类全部认知能⼒的机器智能。(与通

⽤AI的区别在于能⼒级别；关于AGI的定义存在很多分歧，本报告中不同专家或调研的定义可能不同

⼤规模机器学习模型相关术语，主要参考斯坦福⼤学、智源研究院：

●基础模型(FoundationModel)：在⼤规模⼴泛数据上训练的模型，使其可以适应⼴泛的下游任务；国内学界外通常简称为“⼤模型”。

⼈⼯智能⻛险相关术语，主要参考⽜津⼤学研究机构：

●⽣存⻛险(ExistentialRisk)：威胁起源于地球的智能⽣命过早灭绝或对其未来发展潜⼒的永久和剧烈破坏的⻛险。

●灾难性⻛险(CatastrophicRisk)：⼀种可能发⽣的事件或过程，若发⽣将导致全球约10%或更多⼈⼝丧⽣，或造成类似损害。

3

报告⽬录

⼀前沿⼤模型的趋势预测：技术解读｜扩展预测

⼆前沿⼤模型的⻛险分析：⻛险态度｜⻛险解读

三前沿⼤模型的安全技术：对⻬｜监测｜鲁棒性｜系统性安全

四前沿⼤模型的治理⽅案：技术治理｜政府监管｜国际治理

五总结和展望

4

⼀前沿⼤模型的趋势预测

5

⼀前沿⼤模型的趋势预测：技