基于深度Q网络的移动机器人路径规划算法研究.pdf

基于深度Q网络的移动机器人路径规划算法研究

摘要

近年来，随着科学和技术的飞速发展，移动机器人在日常生活中应用越来越广泛，

在很多场景中都发挥着重要作用。导航是移动机器人领域的研究热点。传统的路径规划

方法在未知的复杂环境中表现不佳，随着深度学习（DeepLearning,DL）和强化学习

（ReinforcementLearning,RL）的快速发展，深度强化学习（DeepReinforcementLearning,

DRL）通过结合深度学习和强化学习，使移动机器人从与环境的交互中学习到更优的路

径规划策略。本文以路径规划算法为研究对象，采用传统深度Q网络算法和改进后的深

度Q网络算法来实现移动机器人的路径规划，通过设置消融实验进行对比，验证本文提

出算法的性能和有效性。本文的主要研究内容如下：

（1）针对DQN（DeepQNetwork）算法中探索概率过小或者过大以及奖励函数无

法获得即时有效环境信息反馈的问题，提出改进探索策略及设计新的奖励函数的E-

RDQN算法。该算法有效缩短DQN算法的训练和收敛时间，提高算法的性能。仿真实

验结果表明，与传统DQN算法相比，E-RDQN算法在三种环境中的平均得分提高17.8%、

18.0%和17.0%，路径规划长度缩短18.9%、22.5%和17.6%，有效地加快训练速度和规

划出更优的路径。

（2）针对DQN算法过度估计和回放机制中均匀采样的缺点，提出基于即时奖励值

的优先经验回放机制，对经验池中的数据进行优先级排序，将其应用于DuelingDQN算

法，将E-RDQN算法和RPER-DuelingDQN算法在三种环境中进行仿真实验。实验表

明，与E-RDQN算法相比，RPER-DuelingDQN算法拐点数量更少，得到的路径更平滑，

规划出的路径长度缩短14.3%、14.8%和14.8%，路径规划的效果更好。

（3）把哈尔滨工程大学部分校园实际环境绘制成电子地图，将E-RDQN算法和

RPER-DuelingDQN算法应用在实际校园环境中。实验结果表明，与E-RDQN算法相比，

RPER-DuelingDQN算法训练时间更短，路径规划效果更优。

关键词：深度强化学习；移动机器人；路径规划；深度Q网络

基于深度Q网络的移动机器人路径规划算法研究

Abstract

Inrecentyears,withtherapiddevelopmentofscienceandtechnology,mobilerobotsare

increasinglyusedindailylifeandplayanimportantroleinmanyscenarios.Navigationisa

researchhotspotinthefieldofmobilerobots.Traditionalpathplanningmethodsperformpoorly

inunknowncomplexenvironments.Withtherapiddevelopmentofdeeplearning(DL)and

reinforcementlearning(RL),deepreinforcementlearning(DRL)combinesdeeplearningand

reinforcementlearningtoenablemobilerobotstolearnbetterpathplanningstrategiesfrom

interactionswiththeenvironment.Thispapertakesthepathplanningalgorithmastheresearch

object,andusesthetraditionaldeepQnetworkalgorithmandtheimproveddeepQnetwork

algorit