基于深度强化学习的多无人艇路径规划研究.pdf

基于深度强化学习的多无人艇路径规划研究

摘要

随着无人艇技术的飞速发展，海洋作战领域，无人艇编队已经成为未来智能

化作战的重要形式。如何实现海洋环境下多无人艇自主决策，以集群合作的形式

有效完成任务，是当前研究主要问题。针对此问题，本文基于多智能体强化学习

算法展开对多水面无人艇路径规划的研究，将海洋无人艇路径规划问题与强化学

习相结合，探索设计适用于无人艇路径规划的改进强化学习算法，重点解决多水

面无人艇受规则约束情况下的避碰行驶。

本文的具体研究内容包括三方面：

（1）对海洋环境下，多水面无人艇会遇时的运动过程进行数学建模，计算

多船会遇碰撞指标。基于COLREGs（（国际海洋避碰规则）的分析，对水面无人

艇会遇责任进行划分，并基于强化学习DQN算法，结合避碰规则约束，进行不

同会遇局面奖励函数设计，并且通过计算机仿真实验，验证多水面无人艇避碰能

力。实验表明，基于COLREGs约束的多船避碰实验训练结果良好。

（2）针对随着会遇无人艇数量增加而导致的系统收敛速度慢，系统得分波

动大问题，引入基于时间序列的EWMA(移动指数平均数)，提出基于动态更新

步长方法的EWMA-MATD3算法，使MATD3算法能够随着时间序列对模型的

更新实现动态调整，并设计对比实验，将MADDPG算法，MATD3算法和EWMA-

MATD3对多水面无人艇会遇局面得分收敛情况做对比，实验表明EWMA-

MATD3算法能够有效提高奖励收敛情况。

（3）针对强化学习算法存在的稀疏奖励问题导致的陷入局部最优点情况，

本文引入基于内在驱动的好奇心奖励模块，鼓励无人艇对环境进行更充分的探索，

避免由于部分智能体优化结果良好而影响全局得分变差问题，设计对比实验，实

验结果表明，添加内在驱动好奇心奖励模块的优化结果在训练初期能有效减少训

练震荡，加快收敛速度。

通过仿真验证，本文提出的基于危险碰撞等级和好奇心机制的联合奖励强化

学习算法。能够有效提升多水面无人艇路径规划能力，为实现多无人艇集群自主

导航提供新的途径。

关键词：确定性策略梯度算法多智能体强化学习（水面无人艇（

哈尔滨工程大学硕士学位论文

Abstract

Withtherapiddevelopmentofunmannedsurfacevehicle(USV)technology,small

USVfleetshavebecomeacrucialaspectoffutureintelligentwarfareinmaritime

operations.Akeyresearchchallengeishowtoenableautonomousdecision-makingfor

multipleUSVsinoceanenvironments,allowingthemtoeffectivelycompletetasksin

acooperativemanner.Toaddressthisissue,thispaperfocusesonthestudyofpath

planningformultipleUSVsbasedonmulti-agentreinforcementlearningalgorithms.

ByintegratingtheproblemofUSVpathplanningwithreinforcementlearning,the

researchexploresthedesignofimprovedreinforcementlearningalgorithmssuitable

forUSVpathplanning,withanemphasisonsolvingtheproblemofcollisionavoidance

formultipleUSVsunderregulatoryconstraints.

Thespecificresearchconten