面向深度强化学习的对抗攻防综述.pdf

计 算 机 学 报 CHINESE JOURNAL OF COMPUTERS 面向深度强化学习的对抗攻防综述 1) 1) 1) 1) 1) 2) 3) 4) 刘艾杉 郭骏 李思民 肖宜松 刘祥龙 陶大程 1)(北京航空航天大学复杂关键软件环境全国重点实验室 北京 100191) 2)( 中关村实验室 北京 100094) 3)(合肥综合性国家科学中心数据空间研究院 安徽 230000) 4)(京东探索研究院 北京 100176) 摘 要 深度强化学习技术以一种端到端学习的通用形式融合了深度学习的感知能力与强化学习的决策能力, 在多个领域 得到了广泛应用, 形成了人工智能领域的研究热点. 然而, 由于对抗样本等攻击技术的出现, 深度强化学习暴露出巨大的安 全隐患. 例如, 通过在真实世界中打印出对抗贴纸便可以轻松地使基于深度强化学习的智能系统做出错误的决策, 造成严重 的损失. 基于此, 本文对深度强化学习领域对抗攻防技术的前沿研究进行了一次全面的综述, 旨在把握整个领域的研究进展 与方向, 进一步推动深度强化学习对抗攻防技术的长足发展, 助力其应用安全可靠. 结合马尔科夫决策过程中可被扰动的空 间, 本文首先从基于状态、基于奖励以及基于动作角度的详细阐述了深度强化学习对抗攻击的进展; 其次, 通过与经典对抗 防御算法体系进行对齐, 本文从对抗训练、 对抗检测、 可证明鲁棒性和鲁棒学习的角度归纳总结了深度强化学习领域的对 抗防御技术; 最后, 本文从基于对抗攻击的深度强化学习机理理解与模型增强的角度分析了对抗样本在强化学习领域的应用 并讨论了领域内的挑战和开放研究方向. 关键词 对抗样本; 对抗攻击; 对抗防御; 深度强化学习; 模型鲁棒性 中图法分类号 TP391 A Survey on Adversarial Attacks and Defenses for Deep Reinforcement Learning LIU Ai-Shan1) GUO Jun1) LI Si-Min1) XIAO Yi-Song 1) LIU Xiang-Long 1) 2) 3) TAO Da-Cheng 4) 1)(State Key Laboratory of Software Development Environment, Beihang University, Beijing, 100191) 2)(Zhongguancun Laboratory, Beijing, 100194) 3)(Institute of Dataspace, Hefei, Anhui, 230000) 4)(JD Explore Academy, Beijing, 100176) Abstract With the spreading of deep learning, deep reinforcement learning technique has been widely used and drawn extensive research at