人大版_贾俊平_第五版_统计学_第12章_多元线性回归.ppt

第12章 多元线性回归 12.1 多元线性回归模型 基本假定 自变量 x1，x2，…，xk是确定性变量，不是随机变量 随机误差项ε的期望值为0，且方差σ2 都相同 误差项ε是一个服从正态分布的随机变量，即ε~N(0,σ2)，且相互独立 多元线性回归方程 描述 y 的平均值或期望值如何依赖于 x1， x1 ，…，xk的方程称为多元线性回归方程 多元线性回归方程的形式为 E( y ) = ?0+ ?1 x1 + ?2 x2 +…+ ?k xk 12.2 回归方程的拟合优度 12.2.1 多重判定系数 回归平方和占总离差平方和的比例。表示因变量取值的变差中，能被多元回归方程所解释的比例。 反映回归直线的拟合程度 取值范围在 [ 0 , 1 ] 之间 R2 ?1，说明回归方程拟合的越好； R2?0，说明回归方程拟合的越差 等于多重相关系数的平方，即R2=(R)2 自变量个数的增加会影响到因变量中被估计的回归方程所解释的变差数量。当增加自变量时，预测误差会变小，SSE变小，从而使得SSR=SST-SSE变大，R2在统计上不显著的情况下也会变大。 为避免R2被高估，需要用自变量的数目去修正R2的值。用n表示观察值的数目，k表示自变量的数目，修正的多元判定系数的计算公式可表示为 12.3 显著性检验 12.3.1 线性关系检验 检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为总体的显著性检验 检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 提出假设 H0：?1??2????p=0 线性关系不显著 H1：?1，?2，?，?p至少有一个不等于0 2. 计算检验统计量F 3. 确定显著性水平?和分子自由度p、分母自由度n-p-1找出临界值F ? 4. 作出决策：若F?F ?，拒绝H0；若FF?，接受H0 12.3.2 回归系数检验和推断 如果F检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个的自变量 xi 对因变量 y 的影响是否显著 对每一个自变量都要单独进行检验 应用 t 检验 在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验 提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi ? 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t 确定显著性水平?，并进行决策 ? t??t???，拒绝H0； ? t?t???，接受H0 12.4 多重共线性 12.4.1 多重共线性及其所产生的问题 当回归模型中两个或两个以上的自变量彼此相关时，则称回归模型中存在多重共线性 多元共线性问题产生的根源 1.由变量性质引起 在进行多元统计分析时，作为自变量的某些变量高度相关，比如身高、体重 2.由数据问题引起 情况一：样本含量过小 情况二: 出现异常观测值 情况三: 时序变量 12.4.2 多重共线性的判别 自变量的相关系数诊断法 模型的线性关系检验（F检验）显著时，几乎所有的回归系数t检验却不显著 回归系数的正负号与预期相反 方差扩大因子 12.4.3 多重共线性问题的处理 1. 剔除引起共线性的变量 估计模型之前，找出引起多重共线性的变量，将它剔除出去，是最有效的克服多重共线性问题的方法。 2. 不作任何处理 当模型出现下列情况时，对多重共线性可不做处理。 （1）当所有参数估计量皆显著或者t值皆大于2时，对多重共线性可不做处理。 （2）当被解释变量对所有解释变量回归的判定系数R2值大于任何一个解释变量对其余解释变量回归的决定系数 值时，对多重共线性可不做处理。 （3）如果多重共线性并不严重影响参数估计值，以至我们感到不需要改进它时，多重共线性可不做处理。 （4）如果样本回归方程仅用于预测的目的，那么只要存在于给定样本中的共线性现象在预测期保持不变，多重共线性就不会影响预测结果，因此多重共线性可不做处理。