sas多元回归.ppt

多重共线性对回归模型的影响  【例】 考察进口总额IMPORT与三个自变量国内生产总值GDP、储蓄SAVE和总消费CONSUME之间的关系。现收集了某国1990年到2000年共11年数据，列于下表。试确定进口总额与国内生产总值、储蓄和总消费之间的数量关系。 问题的提出 当可供选择的自变量不太多时，用前边讲过的方法可以求出一切可能的回归方程，然后用几个选元准则去挑出“最好”的方程，但是当自变量的个数较多时，要求出所有可能的回归方程是非常困难的。 为此，我们提出了一些较为简便、实用、快速的选择“最优”方程的方法。 * 变量选择准则(逐步回归) 逐步回归方式挑选有关的选项： FORWARD: 逐个加入 BACKWARD: 全部加入后逐个剔除 STEPWISE: 边进边出 * 变量选择准则(逐步回归) MAXR：开始加入使R2增加最大的变量 以后每一步选择模型内外变量进行对换，选择R2增加最大的对换 选择加入一个使R2增加最大的新变量 MINR：开始加入使R2增加最小的变量 以后每一步选择模型内外变量进行对换，选择R2增加最小的对换 选择加入一个使R2增加最小的新变量 * 变量选择准则(全部回归)   1、前进法。前进法的思想是变量由少到多，每次增加一个，直至没有可引入的变量为止。 2、后退法。后退法与前进法相反，首先用全部m个变量建立一个回归方程，然后在这m个变量中选择一个最不重要的变量，将它从方程中剔除。 3、逐步回归。基本思想是“有进有出”。将变量一个一个引入，每引入一个变量后对入选的变量进行逐个检验，当原引入的变量变得不再显著时，要将其剔除。 关于多重共线性问题 共线性(collinearity, multicollinearity)问题是指独立变量间存在线性关系。 多重共线性产生的背景 解释变量之间完全不相关的情形是非常少见的,尤其是研究某个经济问题时,涉及的自变量较多,我们很难找到一组自变量,它们之间互不相关,而且它们又都对因变量有显著影响。这样的一组自变量甚至是找不到的。客观地说,某一经济现象,涉及到多个影响因素时,这多个影响因素之间大都有一定的相关性。当它们之间的相关性较弱时,我们一般就认为符合多元线性回归模型设计矩阵的要求;当这一组变量间有较强的相关性时,我们就认为是一种违背多元线性回归模型基本假设的情形。 变量间的线性关系会隐蔽变量的显著性 也会增加参数估计的方差 产生不稳定的模型 只有拟合多元回归才会发生这一问题 共线性的诊断可使用方差膨胀因子、条件指数和方差比例 * 回归诊断共线性诊断-VIF 方差膨胀因子(VIF)是对由于共线性而引起的参数估计量的方差增加的一个相对度量 Rr2 是Xr关于模型中其它独立变量回归的R2 一般采用 VIF 10 表明存在共线性问题 INSIGHT在拟合回归时自动生成VIF Proc REG 的Model语句加选项 VIF * 回归诊断共线性诊断-条件指数和方差比例 条件指数(condition index)和方差比例(variance proportion)联合使用可确认存在线性关系的变量组 条件指数(hi=(lmax/li)1/2) 在10-30间为弱相关 在30-100间为中度相关 大于100表明有强相关 大的条件指数伴随方差比例 0.5 可确认有共线性的独立变量子集 直观判定法 1.当增加或剔除一个自变量,或者改变一个观测值时,回归系数的估计值发生较大变化,我们就认为回归方程存在严重的多重共线性。 2.从定性分析认为,一些重要的自变量在回归方程中没有通过显著性检验时,可初步判断存在着严重的多重共线性。 3.有些自变量的回归系数所带正负号与定性分析结果违背时,我们认为存在多重共线性问题。 4.自变量的相关矩阵中,自变量间的相关系数较大时,我们认为可能会出现多重共线性问题。 5.一些重要的自变量的回归系数的标准误差较大时,我们认为可能存在多重共线性。 消除多重共线性的方法 1.删除一些不重要的解释变量 2.增加样本容量 3.回归系数的有偏估计 4.岭回归的方法 5.主成分回归 167.6 164.3 162.3 154.1 146.0 137.7 132.1 126.9 123.2 114.8 108.1 CONSUME 0.7 5.1 5.0 5.6 2.1 2.2 1.1 3.1 3.1 4.1 4.2 SAVE 239.0 231.9 226.1 212.4 202.1 190.7 180.8 175.5 171.5 161.2 149.3 GDP 26.3 27.6 28.1 26.5 22.7 20.4 18.8 19.1 19.0 16.4 15.9 IMPORT 2000 1