大模型驱动的具身智能 发展与挑战.docx

中国科学:信息科学

SCIENTIASINICAInformationis

评述

评述

《中国科学》杂志社SCIENCECHINAPRESS

crossMark

大模型驱动的具身智能:发展与挑战

白辰甲1,2,许华哲3,李学龙2,1*

1.中国电信人工智能研究院(TeleAI),上海200232

2.中国电信人工智能研究院(TeleAI),北京100033

3.清华大学交叉信息学院,北京100084

*通信作者.E-mail:xuelongli@

收稿日期:2024–03–11;修回日期:2024–06–25;接受日期:2024–08–12;网络出版日期:2024–08–29国家自然科学基金(批准号:资助项目

摘要大模型驱动的具身智能是涵盖人工智能、机器人学和认知科学的交叉领域,重点研究如何将大模型的感知、推理和逻辑思维能力与具身智能相结合,提升现有模仿学习、强化学习、模型预测控制等具身智能框架的数据效率和泛化能力.近年来,随着大模型能力的不断提升,以及具身智能中示教数据、仿真平台、任务集合的不断完善,大模型和具身智能的结合将成为人工智能的下一个浪潮,有望成为人工智能迈向实体机器人的重要突破口.本文围绕大模型驱动的具身智能这一研究领域,从3个方面进行了系统的调研、分析和展望.首先,回顾了大模型和具身智能的相关技术背景,以及具身智能现有的学习框架.其次,按照大模型赋能具身智能的方式,将现有研究分为大模型驱动的环境感知、大模型驱动的任务规划、大模型驱动的基础策略、大模型驱动的奖励函数、大模型驱动的数据生成等5类范式.最后,总结了大模型驱动的具身智能中存在的挑战,对可行的技术路线进行展望,为相关研究人员提供参考,进一步推动国家人工智能发展战略.

关键词具身智能,大模型,环境感知,任务规划,基础策略

1引言

具身智能(embodiedAI)是人工智能、机器人学、认知科学的交叉领域,主要研究如何使机器人具备类似人类的感知、规划、决策和行为能力[1].具身智能可以追溯到20世纪50年代,艾伦·图灵首次提出具身智能的概念,探索如何使机器感知和理解世界,并作出相应的决策和行动[2,3].随后在80年代对符号主义的反思中,以罗德尼·布鲁克斯为代表的研究者逐渐认识到,智能不应该只在对数据的被动学习中得到,而应该通过与环境进行主动交互中获取,应当重点研究如何让机器人主动适应环境[4].近年来,在高性能算力平台和大规模标注数据的支持下,深度学习方法通过挖掘数据模式,在图

引用格式:白辰甲,许华哲,李学龙.大模型驱动的具身智能:发展与挑战.中国科学:信息科学,2024,doi:10.1360/SSI-2024-0076BaiCJ,XuHZ,LiXL.Embodied-AIwithlargemodels:researchandchallenges(inChinese).SciSinInform,2024,doi:10.1360/SSI-2024-0076

?c2024《中国科学》杂志社

/doi/10.1360/SSI-2024-0076

白辰甲等:大模型驱动的具身智能:发展与挑战

图1(网络版彩图)领域典型进展

Figure1(Coloronline)Thesigni?cantprogressinthe?eld

像识别、语言处理、围棋、蛋白质结构预测等任务中取得了一系列突破性的进展.然而,这些非具身智能体缺乏与环境交互学习的经验,无法直接驱动机器人实体完成特定任务.相比较而言,具身智能强调感知-运动回路(perception-actionloop),使用物理实体来感知和建模环境,根据任务目标和实体能力进行规划和决策,最后使用实体的运动能力来完成任务.具身实体对任务的完成结果将作为反馈进一步优化智能体的策略,从而使智能体的行为能够适应变化的环境,这一过程与人类的学习和认知过程有很高的相似性.具身智能在研究中更多体现智能的理念,在具身实体中融合了视觉、语言、决策等多方面的技术来提升智能体的通用型和泛化性[5].

近年来