数学建模多元回归分析PPT.ppt

结 束 12 9 - * 三峡大学理学院 于 林 数理统计 第三节 多元线性回归 一. 多元线性回归模型 回归参数的估计 回归方程的显著性检验 回归系数的显著性检验 多元线性回归的预测 多元线性回归模型 多元线性回归模型 （概念要点） 一个因变量与两个及两个以上自变量之间的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xp 和误差项 ? 的方程称为多元线性回归模型 涉及 p 个自变量的多元线性回归模型可表示为 b0 ，b1，b2 ，?，bp是参数 ? 是被称为误差项的随机变量 y 是x1,，x2 ，? ，xp 的线性函数加上误差项? ? 说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性 多元线性回归模型 （概念要点） ? 对于 n 组实际观察数据(yi ; xi1,，xi2 ， ? ，xip )，(i=1,2,…,n)，多元线性回归模型可表示为 y1 = b0 + b1 x11+ b2 x12 +?+ bpx1p + e1 y2= b0 + b1 x21 + b2 x22 +?+ bpx2p + e2 yn= b0 + b1 xn1 + b2 xn2 +?+ bpxnp + en { …… 多元线性回归模型（基本假定） 自变量 x1，x2，…，xp是确定性变量，不是随机变量 随机误差项ε的期望值为0，且方差σ2 都相同 误差项ε是一个服从正态分布的随机变量，即ε~N(0,σ2)，且相互独立 多元线性回归方方程的直观解释 二元线性回归模型 (观察到的y) 回归面 ?0 ?i x1 y x2 (x1,x2) } 多元线性回归的估计(经验)方程 总体回归参数 是未知的，利用样本数据去估计 用样本统计量 代替回归方程中的 未知参数 即得到估计的回归方程 是 估计值 是 y 的估计值 参数的最小二乘估计 参数的最小二乘法 （要点） 根据最小二乘法的要求，可得求解各回归参数 的标准方程如下 使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即 回归方程的显著性检验 多重样本决定系数 （多重判定系数 R2 ） 回归平方和占总离差平方和的比例 反映回归直线的拟合程度 取值范围在 [ 0 , 1 ] 之间 R2 ?1，说明回归方程拟合的越好； R2?0，说明回归方程拟合的越差 等于多重相关系数的平方，即R2=(R)2 修正的多重样本决定系数 （修正的多重判定系数 R2 ） 由于增加自变量将影响到因变量中被估计的回归方程所解释的变异性的数量，为避免高估这一影响，需要用自变量的数目去修正R2的值 用n表示观察值的数目，p表示自变量的数目，修正的多元判定系数的计算公式可表示为 回归方程的显著性检验 （线性关系的检验 ） 检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为总体的显著性检验 检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 回归方程的显著性检验 （步骤） 提出假设 H0：?1??2????p=0 线性关系不显著 H1：?1，?2，?，?p至少有一个不等于0 2. 计算检验统计量F 3. 确定显著性水平?和分子自由度p、分母自由度n-p-1找出临界值F ? 4. 作出决策：若F?F ?，拒绝H0；若FF?，接受H0 回归系数的显著性检验（要点） 如果F检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个的自变量 xi 对因变量 y 的影响是否显著 对每一个自变量都要单独进行检验 应用 t 检验 在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验 回归系数的显著性检验 （步骤） 提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi ? 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t 确定显著性水平?，并进行决策 ? t??t???，拒绝H0； ? t?t???，接受H0 一个二元线性回归的例子 销售额、人口数和年人均收入数据 地区 编号 销售额 （万元）y 人口数 (万人) x1