量化交易策略问题中的深度强化学习算法研究.pdf

目录

摘要I

AbstractII

1绪论1

1.1研究背景和意义1

1.2国内外研究现状2

1.2.1配对交易策略中的深度强化学习算法2

1.2.2投资组合策略中的深度强化学习算法3

1.3研究内容及创新点4

1.3.1研究内容4

1.3.2创新点4

1.4论文组织结构5

2相关理论及方法介绍7

2.1深度强化学习7

2.1.1深度Q学习网络7

2.1.2深度确定性策略梯度7

2.1.3基于半马尔可夫决策过程的深度强化学习8

2.1.4元强化学习9

2.2配对交易9

2.3投资组合策略11

2.4本章小结11

3配对交易策略问题中的双层深度强化学习算法研究12

3.1引言12

3.2双层深度强化学习框架12

3.3扩展的Option-Critic方法14

3.4使用MADDPG方法选择交易阈值17

3.5实验及结果分析18

3.5.1数据18

3.5.2模型设置19

3.5.3评价指标21

3.5.4实验结果22

3.6模型分析25

3.6.1交易结果可视化25

3.6.2收敛性测试27

3.6.3参数讨论28

3.7本章小结29

4投资组合策略问题中的元强化学习算法研究30

4.1引言30

4.2用于投资组合策略问题的元强化学习框架30

4.3投资组合策略问题中的元强化学习算法及其应用31

4.3.1基于Transformer的元强化学习方法31

4.3.2经典元强化学习方法的在线变体34

4.4实验及结果分析38

4.4.1数据38

4.4.2模型设置39

4.4.3评价指标40

4.4.4实验结果及分析40

4.5模型分析43

4.5.1投资组合策略任务的设置43

4.5.2参数讨论44

4.6本章小结45

5总结与展望46

5.1总结46

5.2展望46

参考文献48

攻读硕士期间的研究成果53

致谢54

摘要

量化交易是指通过计算机程序自动生成或者下达交易指令的交易行为。近年来，随

着信息科技的快速发展，以深度学习为代表的人工智能技术越来越多的应用在量化交易

中。由于金融市场的复杂性和高频交易的快速性，交易机会通常非常短暂，交易者通过

人工盯盘进行主观决定交易的难度被大幅增加。深度强化学习的智能体可以代替人工进

行特征提取，捕捉潜在的市场时机并进行自动化交易。其中，设计良好的智能体展现出

了超越人类交易者的潜力。配对交易策略和投资组合策略是量化交易中常用的方法，本

文研究了在这两类策略中的深度强化学习算法，主要包括以下方面：

（1）在配对交易策略问题中，现有方法主要集中在优化交易信号上，忽略了“交易

对”的选择问题。此外，在选择“交易对”时，最佳的交易时间间隔通常是难以确定的。

本文提出了一个双层深度强化学习算法，从“交易对”选择和“交易阈值”设定两个层

面优化传统的配对交易策略。针对“交易对”的选择，提出了一个扩展的Op