《金融大数据分析》-课件 第 19 章.pptx

第十九章

大数据机器学习方法在金融学中的应用

学习目标1.理解大数据机器学习方法在金融研究中的一些应用2.了解非线性Lasso方法3.了解工具变量主成分分析法（IPCA）4.了解如何使用机器学习进行纠偏

章节简介本章聚焦于股票收益率的样本外预测、潜在因子模型的构建和从大量可观测因子中筛选出最有定价效能的因子这三个方面，介绍机器学习方法在其中的实证应用。识别并验证哪些变量具有真正的解释力和定价能力

强调机器学习模型在处理高维数据和复杂关系中的应用

股票收益率横截面预测实证高维问题和机器学习解决方案:传统线性模型（如Fama-MacBeth回归）在高维情况下容易出现多重共线性和过拟合问题。机器学习方法通过正则化和降维（如PCA）解决这些问题。机器学习可以更好地处理非线性关系，如神经网络模型可以近似任意非线性函数。Gu,Kelly,andXiu(2020)的研究:机器学习方法用于预测股票收益，包括弹性网、主成分回归（PCR）、偏最小二乘（PLS）、回归树和神经网络。回归树表现优于广义线性模型，神经网络表现最好，浅层学习效果优于深层学习。重要特征包括动量、流动性、风险测度、估值比率和基本面信号，宏观经济变量中账面市值比最重要。

由散户投资者主导，导致高波动性和短线交易行为。中央控制的银行主导金融体系，市场自动修正机制受政府影响。卖空限制导致市场定价效率低于西方市场。相关研究：Leippold,Wang,andZhou(2021)的研究:流动性成为最重要的预测因子，中国市场显示出更大的可预测性，特别是小规模和非国有企业的股票。散户投资者对短期可预测性有正向影响，长期来看大盘股和国有企业有较高可预测性。Freybergeretal.(2020)和Wangetal.(2023)的研究:在美国和中国市场应用非线性Lasso方法，展示了机器学习在处理高维股票收益预测和非线性问题方面的优势。中国市场的特点

Fama-Macbeth回归是一个两步截面回归检验方法，它非常巧妙排除了残差在截面上的相关性对标准误的影响，适用于预测股票收益率等残差项横截面相关性高、时间序列相关性不高的情况。

首先基于时间序列回归估计每个测试资产的因子暴露

第二步是横截面回归，在每个横截面上计算如下回归

然后将每个横截面的估计取均值作为Fama-MacBeth回归的估计

基于回归的预测方法

?基于回归的预测方法

Lasso?

非线性Lasso（非参数组Lasso）假设特征与条件预期收益之间存在非线性关系，在??时，第??个特征与股票条件预期收益之间的关系可以描述为

?

自适应LassoLasso在变量选择和参数估计上不具有一致性，使用自适应Lasso(AdaptiveLasso)则可以解决这一问题

即基于第一轮Lasso训练的参数对不同参数的惩罚项进行加权，对第一轮训练得到的估计值较大的参数进行较低的惩罚，从而在第二轮Lasso中获得具有一致性的估计结果。

类似地可以得到自适应组Lasso模型，即基于第一轮每组参数的训练结果对每组的惩罚项进行加权后进行第二轮训练。

交叉验证

机器学习模型确定超参数比如上面Lasso中的超参数??时往往采用交叉验证的方法

5折交叉验证：划分训练集和测试集之后，再进一步将训练集随机划分为5等份；选定一个超参数值，第一轮训练模型时，采用第2、3、4、5份训练集数据训练模型，使用第1份训练集数据作为验证集，计算验证集上目标测度比如均方误差的值；第二轮训练时采用第1、3、4、5份训练集数据训练模型，使用第2份训练集数据作为验证集，测度验证集上模型的表现；由此进行5轮训练后得到5个模型表现测度值进而计算出模型表现平均值，对比不同超参数值下模型表现的好坏，取模型在验证集上表现最好时的超参数并重新使用完整的训练集训练模型。

使用k折交叉验证的弊端：如果使用未来股票信息训练模型而使用过去的数据检验“预测”股票收益的好坏，存在前瞻性偏差

时间序列交叉验证：将训练集按时间顺序从早到晚划分成均匀的5份，第1份时间最早，第一轮训练模型时，采用第1份训练集数据训练模型，使用第2份训练集数据作为验证集，第二轮则用第1、2份数据训练，第3份用来验证，直至第五轮用前4份数据训练，第5份数据验证

预测因子的实证表现对股票横截面收益率具有预测作用的因子类型：应计负债、债务发行、投资、低杠杆、低风险、动量、盈利能力、质量、季节性、短期逆转、价值等

主流的多因子模型都是稀疏的，即一般不超过5个因子，稀疏因子模型之间发生了激烈的竞争对比