集成深度强化学习在股票指数投资组合优化中的应用分析.pdfVIP

计算机科学与探索1673-9418/2025/19(01)-0237-08

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2403060

集成深度强化学习在股票指数投资组合优化中的应用分析

12+

冀中，张文嘉

1.天津大学电气自动化与信息工程学院，天津300072

2.天津大学佐治亚理工深圳学院，天津300072

+通信作者E-mail:zwj960923@163.com

摘要：基于集成深度强化学习的投资组合选择是当前量化金融领域的关键技术之一。然而，目前采用上一窗口阶

段最优指标决定下一阶段代理的集成滚动窗口方法存在一定的滞后性。为了有效应对这一不足，提出了双层嵌套

集成深度强化学习方法。该方法对三种代理（优势演员-评论员、深度确定性策略梯度和近端策略优化）进行两层嵌

套模式，第一层集成通过最优化夏普比率进行阶段模型选择，第二层通过加权投票的方法集成三种深度强化学习算

法，从单次训练中收集多个模型快照，在训练期间利用这些模型进行集成预测。分别对上证50投资指数和道琼斯指

数及其包含的股票进行了投资组合研究，将持有指数被动策略和均值方差投资组合策略作为基线策略。实验采用

了投资组合价值、年化回报率、年化波动率、最大回撤和夏普比率等指标作为对比指标。结果表明，所提出的集成方

法在实用性和有效性上表现出较好的性能。

关键词：股票投资组合；交易策略；深度强化学习；双层嵌套集成深度强化学习方法；集成学习

文献标志码：A中图分类号：TP3-05

ApplicationAnalysisofEnsembleDeepReinforcementLearninginPortfolioOpti-

mizationofStockIndex

12+

JIZhong,ZHANGWenjia

1.SchoolofElectrialandInformationEngineering,TianjinUniversity,Tianjin300072,China

2.GeorgiaTechShenzhenInstitute,TianjinUniversity,Tianjin300072,China

Abstract:Portfolioselectionbasedonensembledeepreinforcementlearningisoneofthekeytechnologiesinthecurrent

fieldofquantitativefinance.However,theexistingensemblerollingwindowmethod,whichdeterminesthenext-stage

agentbasedontheoptimalindicatorsfromthepreviouswindow,hascertainlags.Toeffectivelyaddressthisissue,atwo-

layernestedensemblereinforcementlearningmethodisproposed.Thismethodadoptsatwo-layernestedpatternforthree

agents(actor-critic,deepdeterministicpolicygradient,andproximalpolicyoptimization).Thefirstlayerofintegration

selectsstagemodelsthroughoptimalSharperatiooptimization,whilethesecondlayerintegratesthethreedeepreinforce-

mentlearningalgorithmsthrough