OpenAI o1 模型预部署评估报告（中文）.pdf

美国AISI1和英国AISI2联合预

部署测试

OpenAIo1

二〇二四年十二月

1美国AI安全研究所

国家标准与技术研究所

2英国AI安全研究所

科学创新与技术部

人工智能、算力算网资料下载：/pAbdT

内容

1介绍1

1.1免责声明1

1.1.1结果限制1

2方法1

2.1部署前评价1

2.2评价模型2

2.3代理设计2

2.4任务迭代和成本3

2.5不确定性4

2.6模型-采样参数4

I网络能力评估5

3美国网络能力评估方法5

3.1Cybench数据集5

3.2代理方法和评分6

3.3成绩单审查6

4AISI6

美国网络评估结果

4.1平均成功率6

4.2每个任务的结果6

4.3解决方案8

5AISI9

美国网络评估未来工作的机会

6英国AISI网络评估方法9

6.1代理方法和评分11

7AISI11

英国网络评估结果

7.1漏洞发现和利用11

7.2网络运营13

7.3操作系统环境13

7.4网络攻击规划和执行14

1

人工智能、算力算网资料下载：/pAbdT

8AISI

英国网络评估未来工作的机会

II生物能力评估17

9USAISI生物学评价方法17

9.1-17

实验室台架数据集

9.2工具使用18

9.3拿下18

10USAISI生物学评价结果19

10.1主要性能指标19

10.2工具使用消融19

10.3弃权结果20

10.4自由回答答案选择配置20

11AISI

美国生物能力评估未来工作的机会

III软件和人工智能开发评估

12美国AISI软件和人工智能开发评估方法24

12.1MLAgentBench数据集24

12.2代理人方法论25

12.3得分25

13美国AISI软件和人工智能开发评估结果26

13.1平均标准化评分26

13.2每项任务结果27

14美国AISI软件和人工智能开发评估的进一步工作机会28

15AISI

英国软件和人工智能开发评估方法

15.1基于代理的评估方法

16英国AISI软件和人工智能开发评估结果30

16.1基于Agent的通用推理、软件和人工智能开发成果

17英国AISI软件和人工智能开发评估未来工作的机会32

18参考34

2

人工智能、算力算网资料下载：/pAbdT

1介绍

OpenAI“”AISIAISI

本技术报告详细介绍了的o1模型（以下简称o1）版本的部署前评估评估工作由美国和英国

联合进行，本报告描述了美国AISI和英国AISI评估的方法和结果

美国AISI和英国AISI的联合部署前评估评估了三个领域：生物能力、网络能力以及软件和人工智能开发能

AISIAISIAISI

力。美国和英国分别对o1进行了独立的测试，共同努力为研究结果提供信息和改进方法。美国

和英国AISI在模型发布之前与OpenAI分享了他们的初步发现。以下各节共同介绍了每个评价领域，并酌情

介绍了美国AISI或英国AISI在每个领域的具体技术说明、方法和调查结果。

1.1免责声明

AISIAISI

美国和英国评估了o1的部署前版本。由于模型的差异，对模型更新版本的评价本文的