第5章多重共线性的情形及其处理.ppt

第五章 多重共线性的情形及其处理 5 .1 多重共线性产生的背景和原因及其 影响 5 .2 多重共线性的诊断 5 .3 主成分回归 5 .4 岭回归 第五章 多重共线性的情形及其处理 §5.1多重共线性产生的经济背景和原因及其影响 §5.2 多重共线性的诊断 §5.2 多重共线性的诊断 §5.2 多重共线性的诊断 §5.2 多重共线性的诊断 §5.2 多重共线性的诊断 §5.2 多重共线性的诊断 §5.2 多重共线性的诊断 §5.3 消除多重共线性的方法 §5.3 消除多重共线性的方法 §5.3 消除多重共线性的方法 §5.4 主成分回归 §5.5 岭回归 二、岭回归估计的性质 三、岭迹分析 三、 岭迹分析 四、 岭参数k的选择 五、 用岭回归选择变量 五、 用岭回归选择变量 五、 用岭回归选择变量 五、 用岭回归选择变量 五、 用岭回归选择变量 五、 用岭回归选择变量 我们称 为β的岭回归估计，其中k称为岭参数。 由于假设X已经标准化，所以X′X就是自变量样本相关阵，上式计算的实际是标准化岭回归估计。 式中因变量观测向量y可以经过标准化也可以未经标准化。 显然，岭回归做为β的估计应比最小二乘估计稳定， 当k=0时的岭回归估计就是普通的最小二乘估计。 在本节岭回归估计的性质的讨论中，假定估计式中因变量观测向量y未经标准化。 岭回归的不足 （1）碰运气； （2）k可变动，不唯一； （3）有偏。 1、岭迹法 岭迹法选择k值的一般原则是： （1）各回归系数的岭估计基本稳定； （2）用最小二乘估计时符号不合理的回归系数，其岭估计的符号变得合理； （3）回归系数没有不合乎经济意义的绝对值； （4）残差平方和增大不太多。 2、方差扩大因子法 三、由残差平方和来确定k值 岭估计在减小均方误差的同时增大了残差平方和，我们希望岭回归的残差平方和SSE（k）的增加幅度控制在一定的限度以内，可以给定一个大于1的c值，要求： SSE（k）＜cSSE 寻找使上式成立的最大的k值。在后边的例子中我们将会看到对该方法的应用。 岭回归选择变量的原则： （1）在岭回归中设计矩阵X已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。 （2）随着k的增加，回归系数不稳定，震动趋于零的自变量也可以剔除。 （3）如果依照上述去掉变量的原则，有若干个回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某个变量后重新进行岭回归分析的效果来确定。 例7.2 空气污染问题。Mcdonald和Schwing在参考文献［18］ 中曾研究死亡率与空气污染、气候以及社会经济状况等因素 的关系。考虑了15个解释变量，收集了60组样本数据。 x1—Average annual precipitation in inches 平均年降雨量 x2—Average January temperature in degrees F 1月份平均气温 x3—Same for July 7月份平均气温 x4—Percent of 1960 SMSA population aged 65 or older 年龄65岁以上的人口占总人口的百分比 x5—Average household size 每家人口数 x6—Median school years completed by those over 22 年龄在22岁以上的人受教育年限的中位数 x7—Percent of housing units which are sound with all facilities 住房符合标准的家庭比例数 x8—Population per sq. mile in urbanized areas, 1960 每平方公里人口数 x9—Percent non-white population in urbanized areas, 1960 非白种人占总人口的比例 x10—Percent employed in white collar occupations 白领阶层人口比例 x11—Percent of families with income $3000 收入在3000美元以下的家庭比例 x12—Relative hydrocarbon pollution potential 碳氢化合物的相对污染势 x13— Same fo