一种新的多智能体强化学习算法及其在多机器人协作任务中的应用.pdf

维普资讯 第 25卷第 4期 2003年7月 机器人 ROBOT VoJ1．25，No．4 uly，2003 文章编号：1002—0446(2003)04—0344—06 一 种新的多智能体强化学习算法及其 在多机器人协作任务中的应用 顾国昌，仲 宇 ，张汝波h (1．哈尔滨T程大学计算机科学与技术学院，哈尔滨 150001； 2．中国科学院沈阳自动化研究所机器人学重点实验室，沈阳 I10016) 摘 要：在多机器人系统中，评价一个机器人行为的好坏常常依赖于其它机器人的行为，此时必须采用组合动 作 以实现多机器人的协作，但采用组合动作的强化学习算法 由于学习空间异常庞大而收敛得极慢．本文提出的新方 法通过预测各机器人执行动作的概率来降低学习空间的维数 ，并应用于多机器人协作任务之中．实验结果表明，基 于预测的加速强化学习算法可以比原始算法更快地获得多机器人的协作策略． 关键词：分布式强化学习，加速算法，多智能体系统 中图分类号 ： TP24 文献标识码 ： B A NEW M ULTI—AGENT REINFORCEM ENT LEARNING ALGORITHM AND ITSAPPLICATIoN To M ULTI—RoBoT CooPERATIoN TASKS GU Guo—chang ，ZHONG Yu ，ZHANG Ru_bo， (1．SchoolofComputerScienceandTechnology，HarbinEngineeringUniversity，Harbin150001l 2．RoboticsLaboratory，ShenyangInstituteofAutomation，ChineseAcademyofSciences，Shenyang110016．China) Abstract：Inmulti—robotsystems，joint-actionmustbeemployedtoachievecooperationbecausetheevaluationto thebehaviorofarobotoftendependsontheotherrobots’behaviors．However，joint-actionreinforcementlearning algorithmssuffertheslow convergenceratebecauseoftheenormouslearningspaceproducedbyjoint—action．In thispaper，a prediction—based reinforcementlearning algorithm ispresented formulti—robotcooperation tasks， whichdemandsallrobotsto[earnpaperpredicttheprobabilitiesofaCtionsthatotherrobotsmayexecute．A multi— robotcooperationexperimentismadetotesttheefficacyofthenew algorithm ，andtheexperimentresultsshow thatthenew algorithm canachievethecooperationstrategymuchfasterthantheprimitivereinforcementlearning algorithm． Keywords：distributedreinforcementlearning，acceler