多元线性回归与Logistic回归(一).pptxVIP

多元线性回归与Logistic回归

contents

目录

引言

Logistic回归

多元线性回归与Logistic回归的比较

多元线性回归与Logistic回归的应用案例

结论与展望

01

引言

探究多个自变量对因变量的影响

多元线性回归和Logistic回归都是用于探究多个自变量（特征）如何共同影响一个因变量（目标变量）的统计方法。

解决实际问题

这两种回归方法广泛应用于各个领域的实际问题解决中，如经济学、医学、社会学等。

概念

多元线性回归是一种用于探究多个自变量与一个因变量之间线性关系的统计方法。

模型形式

$Y=beta_0+beta_1X_1+beta_2X_2+ldots+beta_pX_p+epsilon$，其中$Y$是因变量，$X_1,X_2,ldots,X_p$是自变量，$beta_0,beta_1,ldots,beta_p$是回归系数，$epsilon$是随机误差项。

VS

Logistic回归是一种用于探究多个自变量与一个二分类因变量之间关系的统计方法。

模型形式

$P(Y=1|X)=frac{e^{beta_0+beta_1X_1+beta_2X_2+ldots+beta_pX_p}}{1+e^{beta_0+beta_1X_1+beta_2X_2+ldots+beta_pX_p}}$，其中$P(Y=1|X)$表示在给定自变量$X$的条件下，因变量$Y$取值为1的概率。

概念

回归系数解释不同

多元线性回归的回归系数表示自变量对因变量的影响方向和程度，而Logistic回归的回归系数表示自变量对事件发生概率的对数变换影响。

因变量类型不同

多元线性回归的因变量是连续的，而Logistic回归的因变量是二分类的。

预测结果不同

多元线性回归预测的是因变量的具体数值，而Logistic回归预测的是因变量取某个值的概率。

模型定义

多元线性回归模型描述了一个因变量与多个自变量之间的线性关系。模型形式为Y=β0+β1X1+β2X2+⋯+βpXp+εY=beta_0+beta_1X_1+beta_2X_2+dots+beta_pX_p+varepsilonY=β0​+β1​X1​+β2​X2​+⋯+βp​Xp​+ε，其中YYY是因变量，X1,X2,…,XpX_1,X_2,ldots,X_pX1​,X2​,…,Xp​是自变量，β0,β1,…,βpbeta_0,beta_1,ldots,beta_pβ0​,β1​,…,βp​是回归系数，εvarepsilonε是随机误差项。

假设条件

多元线性回归模型需要满足一些基本假设，包括误差项的独立性、同方差性、无多重共线性等。

最小二乘法是多元线性回归中常用的参数估计方法。它通过最小化残差平方和来求解回归系数，使得模型能够最好地拟合数据。

最大似然法也是一种常用的参数估计方法。它基于概率模型，通过最大化似然函数来求解回归系数。

最大似然法

最小二乘法

02

Logistic回归

1

2

3

将线性回归的连续输出转换为概率值，用于二分类问题。

Logistic函数

P(Y=1|X)=1/(1+e^(-(β0+β1X1+β2X2+...+βnXn)))，其中β为待估参数。

模型表达式

由β0+β1X1+β2X2+...+βnXn=0定义，用于划分两类样本。

决策边界

通过最大化似然函数来求解参数β，使得模型预测概率与实际标签尽可能一致。

最大似然估计

梯度下降法

正则化

通过迭代更新参数β，使得损失函数（如交叉熵损失）达到最小。

引入L1或L2正则项，防止过拟合，提高模型泛化能力。

03

02

01

通常检验某个参数β是否为0，以判断对应自变量是否对因变量有显著影响。

原假设与备择假设

常用Wald检验、似然比检验或得分检验，构造检验统计量并计算p值。

检验统计量

根据显著性水平α和p值大小，决定是否拒绝原假设。若p值小于α，则拒绝原假设，认为对应自变量对因变量有显著影响。

决策规则

03

多元线性回归与Logistic回归的比较

适用于因变量为连续型变量的情况，可以通过多个自变量来预测一个连续型的因变量。

多元线性回归

适用于因变量为二分类或多分类的情况，可以通过多个自变量来预测一个分类结果。

Logistic回归

01

04

05

06

03

02

多元线性回归

优点：模型简单易懂，计算量相对较小，可以给出因变量的预测值及置信区间。

缺点：对异常值和离群点敏感，且假设自变量和因变量之间存在线性关系，可能不适用于非线性关系的数据。

Logistic回归

优点：适用于分类问题，可以给出分类结果的概率，对于非线性关