基于改进D3QN的煤炭码头卸车排产智能优化方法.docx

第36

第36卷第3期2024年3月

Vol.36No.3Mar.2024

JournalofSystemSimulation

基于改进D3QN的煤炭码头卸车排产智能优化方法

秦保新1，张羽霄2，吴思锐2，曹卫冲1，李湛2,3*

(1.国能(天津)港务有限责任公司，天津300450；2.哈尔滨工业大学航天学院智能控制与系统研究所，黑龙江哈尔滨150001；

3.鹏城实验室数学与理论部，广东深圳518055)

摘要：采用智能化决策排产能够提高大型港口的运营效率，是人工智能技术在智慧港口场景落地的重要研究方向之一。针对煤炭码头卸车智能排产任务，将其抽象为马尔可夫序列决策问题。建立了该问题的深度强化学习模型，并针对该模型中动作空间维度高且可行动作稀疏的特点，提出一种改进的D3QN算法，实现了卸车排产调度决策的智能优化。仿真结果表明，对于同一组随机任务序列，优化后的排产策略相比随机策略实现了明显的效率提升。同时，将训练好的排产策略应用于随机生成的新任务序列，可实现5%~7%的排产效率提升，表明该优化方法具有较好的泛化能力。此外，随着决策模型复杂度的提升，传统启发式优化算法面临建模困难、求解效率低等突出问题。所提算法为该类问题的研究提供了一种新思路，有望实现深度强化学习智能决策在港口排产任务中的更广泛应用。

关键词：码头卸车排产；调度策略优化；智能决策；深度强化学习；DuelingDoubleDQN算法中图分类号：TP391.9;TP278文献标志码：A文章编号：1004-731X(2024)03-0770-12DOI:10.16182/j.issn1004731x.joss.22-1320

引用格式:秦保新,张羽霄,吴思锐,等.基于改进D3QN的煤炭码头卸车排产智能优化方法[J].系统仿真学报,2024,36(3):770-781.

Referenceformat:QinBaoxin,ZhangYuxiao,WuSirui,etal.IntelligentOptimizationofCoalTerminalUnloadingSchedulingBasedonImprovedD3QNAlgorithm[J].JournalofSystemSimulation,2024,36(3):770-781.

IntelligentOptimizationofCoalTerminalUnloadingSchedulingBasedonImprovedD3QNAlgorithm

QinBaoxin1,ZhangYuxiao2,WuSirui2,CaoWeichong1,LiZhan2,3*

(1.Guoneng(Tianjin)PortCo.,Ltd,Tianjin300450,China;2.ResearchInstituteofIntelligentControlandSystems,HarbinInstituteofTechnology,

Harbin150001,China;3.DepartmentofMathematicsandTheory,PengChengLaboratory,Shenzhen518055,China)

Abstract:Intelligentdecisionschedulingcanimprovetheoperationefficiencyoflargeports,whichisoneoftheimportantresearchdirectionsfortheimplementationofartificialintelligencetechnologyinthesmartportscenario.ThisarticlestudiestheintelligentunloadingschedulingtasksofcoalterminalsandabstractsthemasaMarkovsequencedecisionproblem.Adeepreinforcementlearningmodelforthisproblemisestablished,andanimprovedD3QNalgorithmisproposedtorealize