国家级人工智能安全研究所及其国际网络为何建立、如何运作及未来挑战（2024）.pdf

执⾏摘要

执⾏摘要

⾃英国和美国率先成⽴国家级⼈⼯智能安全研究所(AISafetyInstitute，以下简称AISI)以来，

安远AI始终密切关注和分析其演进过程。本⽂分析了当前多个国家级⼈⼯智能安全研究所及其

国际⽹络的设⽴背景、进展、对⽐和挑战，旨在为中国在全球⼈⼯智能治理中的⻆⾊定位与政

策制定提供参考。

1.背景

GPT-4等前沿⼈⼯智能展现出强⼤的涌现能⼒，推动了多模态⼤模型、⾃主智能体、科学发现

智能体和具⾝智能等众多技术⽅向，在多个领域已逼近甚⾄超越⼈类⽔平，但也引发了新的安

全挑战。两届全球⼈⼯智能安全峰会先后发布的《布莱切利宣⾔》和《⾸尔宣⾔》推动了国家

级⼈⼯智能安全研究所的设⽴，以应对技术⻛险并加强全球治理。

2.进展

英国和美国分别在2023年⾸届全球⼈⼯智能安全峰会率先设⽴⼈⼯智能安全研究所，随后⽇

本、新加坡、加拿⼤、韩国、法国等国家以及欧盟相继跟进，同时美国积极推动⼈⼯智能安全

研究所国际⽹络的发展。此类机构以⼈⼯智能安全评测、⼈⼯智能安全研究、促进信息交流或

推进标准制定为核⼼职能，已初步建⽴双边和多边的协作。

3.对⽐

不同国家的国家级⼈⼯智能安全研究所在机构属性、职能定位、研究重点及国际协作等⽅⾯呈

现多样性，在详细对⽐已官宣成⽴的8家国家级⼈⼯智能安全研究所的上述信息的基础上，我

们重点就领先的⼈⼯智能安全研究所进⾏了案例分析：

●英国⼈⼯智能安全研究所：充⾜的政府资⾦⽀持，吸纳⼤量技术⼈才，希望引领前沿

⼈⼯智能安全评测和研究；得到OpenAI、DeepMind、Anthropic的部署前评测授权；

参与全球⼈⼯智能安全峰会的筹办；已开源评测框架Inspect，为测试⼈员提供了评估

各类模型特定能⼒的⼯具。

●美国⼈⼯智能安全研究所：关注前沿⼈⼯智能⻛险，并涵盖更⼴泛的⻛险类型；依托

美国国家标准与技术研究院和合作⽹络，成⽴了⼈⼯智能安全研究联盟；获得OpenAI

1

国家级⼈⼯智能安全研究所及其国际⽹络

和Anthropic新模型发布之前和之后的访问权限。初期更关注国内安全问题，后通过与

英国等⼈⼯智能安全研究所合作并宣布建⽴⼈⼯智能安全研究所国际⽹络后，越来越

关注全球合作，旨在协调各⽅制定前沿⼈⼯智能的测量科学、⾃愿指南和严格测试标

准。然⽽，特朗普当选新总统后，其全球合作前景存疑。

●其他的国家级⼈⼯智能安全研究所则结合⾃⾝需求，在标准化、安全研发、执⾏监管

等⽅⾯各有侧重。

4.挑战

尽管⼈⼯智能安全研究所及其国际⽹络在安全评测、安全研究和国际合作中具有重要潜⼒，但

未来仍需在模型访问与评测权限、信息共享与安全实践、标准制定与监管框架、资源差异与合

作平衡、全球包容性与国际协调⽅⾯进⾏改进，以应对⼈⼯智能技术为全球治理带来的复杂挑

战。

2

⽬录

⽬录

执⾏摘要1

1背景1

1.1ChatGPT等前沿⼈⼯智能展⽰了技术的潜⼒和潜在的⻛险1

1.2英国推动全球⼈⼯智能安全峰会，应对前沿⼈⼯智能的⻛险2

2进展4

2.1继英美之后，多个国家宣布设⽴国家级⼈⼯智能安全研究所