《金融大数据分析》-课件 第7章模型选择与正则.pptx

第7章模型选择与正则化

学习目标

•理解为什么需要进行模型选择和正则化

•了解模型选择的方法

•掌握正则化的几种方法，以及如何使用程序实行正则化

模型选择

•决定使用哪些特征

•不同特征的排列组合产生多个模型

•主要介绍最佳子集选择法和前向分步算法

最佳子集选择法

前向分步算法

正则化方法

•通过将参数向0收缩来达到减小点估计量方差的目的

•常见方法：

•岭回归

•套索回归

•弹性网络

岭回归（RidgeRegression）



1n2n

ii2

Jwfxywj

2ni1j1

线性回归损失函数

正则化项

•修改线性回归的代价函数

•引入正则化项

•正则化参数控制模型复杂度

套索回归（LassoRegression）



1n2m

ii

Jwfxy2wj

2ni1j1

线性回归损失函数

正则化项

岭回归与套索回归比较

•两者都通过控制正则化

•套索回归可使某些特征系数变为0

弹性网络（ElasticNet）



1n2mm

ii2

Jwfxy1wj22wj

2ni1j1j1

线性回归损失函数

岭回归正则化项套索回归正则化项

•结合岭回归与套索回归的优势

•代价函数中同时包含两个正则项

模型训练

n

1(i)(i)

w0:w0(f(x)y)

ni1

n

1(i)(i)(i)

w1:w1(f(x)y)x1w1

ni1

n

1(i)(i)(i)

wm:wm(f(x)y)xnwn

ni1

模型训练