“学海拾珠”系列之二百二十六：风险规避型强化学习模型在投资组合优化中的应用.pdfVIP

[Table_CommonRptType]金融工程

正文目录

1引言4

2文献综述5

3理论背景5

3.1组合优化5

3.2DIRICHLET分布策略6

3.3贝叶斯神经网络6

3.4不确定性估计7

3.5风险评估方法7

4方法论7

4.1马尔科夫决策过程和强化学习设定7

4.2模型训练方法9

5实证结果10

6结论13

风险提示：13

敬请参阅末页重要声明及评级说明2/14

[Table_CommonRptType]金融工程

图表目录

图表1文章框架4

图表2ACTOR-CRITIC网络设置8

图表3强化学习在训练过程中的平均奖励（纵轴）和训练轮次数量（横轴）11

图表4训练和测试数据集11

图表5强化学习算法在不同测试集上的比较12

图表6投资组合的不确定性风险估计12

敬请参阅末页重要声明及评级说明3/14

[Table_CommonRptType]金融工程

1引言

图表1文章框架

华安证券研究所整理

根据资产定价理论，投资者需要风险投资来获取利润。现代投资组合理论在“有

效前沿”上构建最优投资组合，使风险和收益正相关。投资者的风险偏好和风险承受

能力会限制其选择。评估风险和回报需要动态地评估未来结果。在没有明确的“最优

投资组合”决策数据的情况下，监督学习具有挑战性。连续交易会产生成本，而近期

强化学习的发展为无监督强化学习提供了有前景的成果。

金融模型假设因子是固定的，因此需要灵活的深度学习方法。深度强化学习能

够解决连续决策问题，适用于动态投资组合优化。模型过拟合问题通过不确定性解

决方案来解决。基于风险规避的强化学习模型纳入了风险约束，能够顺序学习最优

决策策略。两种类型的不确定性，即偶然不确定性和认知不确定性，可能会影响决

策。偶然不确定性源于市场预期，可