线性回归计算方法及公式教学文稿.pptxVIP

线性回归计算方法及公式教学文稿

目录线性回归基本概念最小二乘法求解线性回归梯度下降法求解线性回归

目录正则化方法在线性回归中应用模型评估与诊断公式推导与实例演示

01线性回归基本概念

线性回归定义01线性回归是一种统计分析方法，用于研究两个或多个变量之间的关系。02在线性回归中，自变量和因变量之间的关系被假设为线性的，即可以用一条直线来近似表示。线性回归的目标是找到最佳拟合直线，使得预测值与实际观测值之间的误差最小。03

线性关系与非线性关系线性关系当两个变量之间的关系可以表示为一条直线时，称它们之间存在线性关系。在线性关系中，一个变量的变化会引起另一个变量按固定比例变化。非线性关系当两个变量之间的关系无法用一条直线表示时，称它们之间存在非线性关系。在非线性关系中，一个变量的变化可能导致另一个变量以不同的比例或方向变化。

误差项在线性回归模型中，误差项表示实际观测值与模型预测值之间的差异。误差项通常被假设为独立且服从正态分布。残差残差是实际观测值与模型拟合值之间的垂直距离。在线性回归中，残差用于衡量模型拟合的好坏。如果残差较小且分布均匀，则说明模型拟合效果较好。误差项与残差

02最小二乘法求解线性回归

最小二乘法原理最小二乘法的核心思想是寻找一条直线，使得所有样本点到该直线的垂直距离之和最小。在数学上，最小二乘法通过最小化残差平方和（RSS）来求解线性回归参数，即使得实际观测值与预测值之差的平方和最小。最小二乘法具有无偏性、有效性和一致性等优良性质，是线性回归中最常用的参数估计方法。

假设一元线性回归模型为y=β0+β1x+ε，其中β0和β1是待估计参数，ε是随机误差项。根据最小二乘法原理，需要最小化残差平方和RSS=Σ(yi-(β0+β1xi))^2。通过求解RSS关于β0和β1的偏导数，并令其等于零，可以得到正规方程组。解正规方程组，即可得到β0和β1的最小二乘估计值。参数估计过程

输入标合优度评价决定系数R^2：表示模型解释变量x对因变量y的变异程度的解释能力，取值范围在0到1之间，越接近1说明模型拟合效果越好。F检验和t检验：用于检验模型的显著性和变量的显著性，若通过检验则说明模型或变量对因变量有显著影响。均方误差MSE：衡量模型预测值与实际观测值之间的平均误差大小，MSE越小说明模型预测精度越高。调整决定系数AdjustedR^2：针对模型中自变量个数对决定系数的影响进行调整，更加客观地评价模型的拟合优度。

03梯度下降法求解线性回归

损失函数在线性回归中，损失函数通常采用均方误差（MeanSquaredError,MSE），用于衡量预测值与真实值之间的差距。梯度方向梯度下降法通过计算损失函数关于参数的梯度，沿着梯度的反方向更新参数，以最小化损失函数。迭代过程从初始参数出发，不断沿着梯度反方向更新参数，直到满足收敛条件或达到最大迭代次数。梯度下降法原理

参数更新规则参数更新公式：对于每个参数，其更新公式为$\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta)$，其中$\alpha$为学习率，$J(\theta)$为损失函数。批量梯度下降（BatchGradientDescent）：每次更新参数时，使用整个数据集计算梯度。随机梯度下降（StochasticGradientDescent）：每次更新参数时，随机选取一个样本计算梯度。小批量梯度下降（Mini-batchGradientDescent）：每次更新参数时，选取一小部分样本计算梯度。

学习率决定了参数更新的步长，过大的学习率可能导致参数在最优解附近震荡，过小的学习率可能导致收敛速度过慢。通常可以通过交叉验证、网格有哪些信誉好的足球投注网站等方法选择合适的学习率。在实际应用中，可以采用学习率衰减的策略，即随着迭代次数的增加逐渐减小学习率。在训练过程中，可以观察损失函数的变化情况，如果发现损失函数长时间没有明显下降，可以适当减小学习率；如果发现损失函数下降过快，可以适当增大学习率。同时，也可以采用自适应学习率的方法，如Adam、RMSProp等优化算法，它们能够自动调整学习率。学习率的作用学习率的选择学习率的调整学习率选择与调整

04正则化方法在线性回归中应用

L1正则化（Lasso回归）L1正则化定义在损失函数中加入权重系数的L1范数作为惩罚项，以达到稀疏化权重系数的目的。Lasso回归公式$J(theta)=frac{1}{2m}sum_{i=1}^{m}(h_{theta}(x^{(i)})-y^{(i)})^2+alphasum_