数据分析师-编程语言与工具-Scikit-learn_回归模型：线性回归与岭回归.docxVIP

PAGE1

PAGE1

回归模型基础

1线性回归原理

线性回归是一种用于预测连续值输出的监督学习算法。其核心思想是通过找到一个线性函数，将输入特征与输出结果关联起来，从而实现预测。在数学上，线性回归模型可以表示为：

[y=_0+_1x_1+_2x_2+…+_nx_n+]

其中，(y)是目标变量，(x_1,x_2,…,x_n)是输入特征，(_0,_1,…,_n)是模型参数，()是误差项。

1.1示例代码

#导入必要的库

importnumpyasnp

importmatplotlib.pyplotasplt

fromsklearn.linear_modelimportLinearRegression

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error

#生成数据

np.random.seed(0)

X=2*np.random.rand(100,1)

y=4+3*X+np.random.randn(100,1)

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建线性回归模型

lin_reg=LinearRegression()

#训练模型

lin_reg.fit(X_train,y_train)

#预测

y_pred=lin_reg.predict(X_test)

#计算均方误差

mse=mean_squared_error(y_test,y_pred)

print(MeanSquaredError:,mse)

#可视化

plt.scatter(X_test,y_test,color=blue)

plt.plot(X_test,y_pred,color=red,linewidth=3)

plt.title(线性回归)

plt.xlabel(特征)

plt.ylabel(目标)

plt.show()

2岭回归原理

岭回归是线性回归的一种变体，它通过在损失函数中加入正则化项来解决过拟合问题。正则化项通常是一个参数()乘以所有权重的平方和，即：

[=+_{i=1}^{n}_i^2]

其中，()是均方误差，()是正则化参数，(_i)是模型参数。

2.1示例代码

#导入必要的库

fromsklearn.linear_modelimportRidge

#创建岭回归模型

ridge_reg=Ridge(alpha=1,solver=cholesky)

#训练模型

ridge_reg.fit(X_train,y_train)

#预测

y_pred=ridge_reg.predict(X_test)

#计算均方误差

mse=mean_squared_error(y_test,y_pred)

print(MeanSquaredError:,mse)

#可视化

plt.scatter(X_test,y_test,color=blue)

plt.plot(X_test,y_pred,color=red,linewidth=3)

plt.title(岭回归)

plt.xlabel(特征)

plt.ylabel(目标)

plt.show()

3过拟合与正则化

过拟合是指模型在训练数据上表现得过于优秀，以至于它开始捕捉数据中的噪声，而不是数据的内在结构。这将导致模型在未见过的数据上表现不佳。正则化是一种防止过拟合的技术，它通过在损失函数中加入一个惩罚项来限制模型参数的大小，从而降低模型的复杂度。

在Scikit-learn中，岭回归通过设置alpha参数来控制正则化强度。alpha越大，正则化效果越明显，模型参数的值越小，模型的复杂度越低。

3.1示例代码

#创建不同正则化强度的岭回归模型

ridge_reg_1=Ridge(alpha=1,solver=cholesky)

ridge_reg_10=Ridge(alpha=10,solver=cholesky)

ridge_reg_100=Ridge(alpha=100,solver=cholesky)

#训练模型

ridge_reg_1.fit(X_train,y_train)

ridge_reg_10.fit(X_train,