智能体-人类-环境统一对齐原则初探-李鹏.pdf

智能体-人类-环境统一对齐原则初探

李鹏

2024年10月13日

大模型智能体迅猛发展

•2023年以来大模型智能体受到广泛关注，研究、框架、应用迅猛发展。

/watch?v=U9mJuUkhUzk;/live/XEzRZ35urlk?t=1485s;Wangetal.2023.ASurveyonLargeLanguageModelbasedAutonomousAgents.arXiv:2308.11432.2

智能体历史沿革

•智能体概念由来以久，是对人工智能问题的重要研究抽象。

Anagentisanythingthatcanbeviewedasperceivingitsenvironmentthrough

sensorsandactinguponthatenvironmentthroughactuators.

——StuartJ.RussellandPeterNorvig

Russell,S.J.Artificialintelligence:Amodernapproach.PearsonEducation,Inc.,2010.3

传统智能体v.s.大模型智能体

•解决开放域问题将是大模型智能体区别于传统智能体的关键特征之一。

AlphaStarAutoGPT

•训练：强化学习+自我对弈•训练：免训练

•数据：专用环境收集的海量数据•数据：无需专门收集数据

•任务：仅能玩星际争霸2•任务：可完成多样化任务

https://deepmind.google/discover/blog/alphastar-mastering-the-real-time-strategy-game-starcraft-ii/；https://auto-gpt.ai/4

大模型智能体现状

•当前大模型智能体虽获取广泛关注，但尚未完成在开放域上的效果阶跃。

潜力初现效果阶跃

GPT-3ChatGPT

•通用性

•自主性

•有效性

大模型智能体

5

典型系统1：OpenAIGPTs

•基础版：使用文字配置智能体，可看作系统提示的产品化。

•进阶版：基础版+工具调用，增加了一定自主性。

通用性

可引入外部API

GPTs自主决定何时使用API

自主性

有效性

图片来源：/tutorial/how-to-make-custom-gpts6

典型系统2：斯坦福小镇

•可以一定程度实现人类行为的模拟，并观察到涌现行为。

•目前尚无法胜任大规模人类行为的模拟，模拟可信性也仍需提