非完全信息下基于 PPO-CFR 的扩展式博弈决策.pdf

中国科学信息科学年第卷第期

SCIENTIASINICAInformationis

非完全信息下人机合作对抗博弈专题论文

非完全信息下基于的扩展式博弈决策

11*2

黄蕾朱进段福庆

1.中国科学技术大学信息科学技术学院,合肥230022

2.北京师范大学人工智能学院,北京100875

*通信作者.E-mail:jinzhu@

收稿日期:2022–06–13;修回日期:2022–09–13;接受日期:2022–10–28;网络出版日期:2022–12–06

国家重点研发计划(批准号:2018AAA0100802)和安徽省自然科学基金(批准号:2008085MF198)资助项目

摘要非完全信息下的人机对抗通常可以通过双人零和博弈模型加以描述,反事实后悔最小化(coun-

terfactualregretminimization,CFR)是处理非完全信息双人零和博弈的一种流行算法.然而现有CFR

及其变体算法在迭代过程中使用固定的后悔值计算和策略更新类型,在非完全信息扩展式博弈下表现

各有优劣,泛化性能薄弱.针对这一问题,本文将强化学习近端策略优化(proximalpolicyoptimization,

PPO)算法与CFR算法相结合,提出一种PPO-CFR算法,通过训练出理性的智能体,从而实现CFR

迭代过程后悔值计算和策略更新类型的自适应选择,以提高算法的泛化性能,并实现非完全信息扩展

式博弈的策略优化.本文采用通用的扑克博弈实验验证所提算法,并制定逐步奖励函数训练智能体的

动作策略,实验结果表明,与现有方法相比,PPO-CFR算法具有更好的泛化性能和更低的可利用度,

迭代策略更为逼近纳什均衡策略.

关键词非完全信息,扩展式博弈,反事实后悔最小化,近端策略优化,博弈决策

引言

人机对抗是以博弈学习为核心技术来实现机器智能学习的前沿热点,计算机博弈是人机对抗领域

具有挑战性的研究方向之一,主要研究博弈中玩家的决策策略生成问题.根据博弈状态是否完全可观,

计算机博弈被分为完全信息博弈和非完全信息博弈.在完全信息博弈中,博弈状态可以被玩家全部观

察到.相比之下,在非完全信息博弈中,玩家可以对其他玩家隐藏自己的私人信息,即博弈状态可能对

玩家不完全可见.例如,扑克博弈中,每个玩家的私人手牌对其他玩家是不可见的.非完全信息博弈相

较于完全信息博弈更具挑战性,近年来已吸引大量研究人员的关注[1,2].

纳什均衡(Nashequilibrium,NE)是非完全信息下双人零和博弈的典型解[3,4],反事实后悔最小

化(counterfactualregretminimization,CFR)[5]由于其良好的理论保证和强大的实证性能,目前是寻

引用格式黄蕾,朱进,段福庆.非完全信息下基于PPO-CFR的扩展式博弈决策.中国科学:信息科学,2022,52:2178–2194,doi:

10.1360/SSI-2022-0216

HuangL,ZhuJ,DuanFQ.ExtensivegamedecisionbasedonthePPO-CFRalgorithmunderincompleteinformation

(inChinese).SciSinInform,2022,52:2178–2194,doi:10.1360/SSI-2022-0216

⃝《中国科学》杂志社

中国科学信息科学第卷第期

找双人零和博弈中纳什均衡的最经典方法之一.多年来,在普通CFR的基础上衍生出许多CFR变体.

例如,蒙特卡洛CFR(MonteCarlocounterfactualregretminimization,MCCFR)[6,7]将蒙特卡洛抽样

技术与普通CFR相结合,大大扩