多重共线性的情形及其处理.pptxVIP

第五章多重共线性的情形及其处理5.1多重共线性产生的背景和原因及其影响5.2多重共线性的诊断5.3主成分回归5.4岭回归

第五章多重共线性的情形及其处理如果存在不全为0的p+1个数c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip=0,i=1,2,…,n（6.1）则称自变量x1,x2,…,xp之间存在着完全多重共线性。在实际经济问题中完全的多重共线性并不多见，常见的是（6.1）式近似成立的情况，即存在不全为0的p+1个数c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n（6.2）称自变量x1,x2,…,xp之间存在着多重共线性(Multi-collinearity),也称为复共线性。

5.1多重共线性产生的经济背景和原因及其影响在研究社会、经济问题时，因为问题本身的复杂性，设计的因素很多。在建立回归模型时，往往由于研究者认识水平的局限性，很难在众多因素中找到一组互不相关又对因变量y有显著影响的变量，不可避免地出现所选按自变量相关的情形。

设回归模型y=β0+β1x1+β2x2+…+βpxp+ε存在完全的多重共线性,即对设计矩阵X的列向量存在不全为零的一组数c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip=0,i=1,2,…,n设计矩阵X的秩rank（X）p+1，此时|x′x|=0，正规方程组的解不唯一，（x′x）-1不存在，回归参数的最小二乘估计表达式不成立。010302

对非完全共线性,存在不全为零的一组数c0,c1,c2,…,cp,使得c0+c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n

例：做y对两个自变量x1,x2的线性回归,假定y与x1,x2都已经中心化，此时回归常数项为零，回归方程为

对自变量做中心标准化，则X*′X*=(rij)为自变量的相关阵。记称其主对角线元素VIFj=cjj为自变量xj的方差扩大因子(VarianceInflationFactor,简记为VIF)。根据OLS性质3可知，C=(cij)=(X*′X*)-1 其中Ljj是xj的离差平方和，由（6.6）式可知用cjj做为衡量自变量xj的方差扩大程度的因子是恰如其分的。一、方差扩大因子法5.2多重共线性的诊断

5.2多重共线性的诊断

经验表明,当VIFj≥10时,就说明自变量xj与其余自变量之间有严重的多重共线性,且这种多重共线性可能会过度地影响最小二乘估计值。还可用p个自变量所对应的方差扩大因子的平均数来度量多重共线性。当01远远大于1时就表示存在严重的多重共线性问题。025.2多重共线性的诊断

5.2多重共线性的诊断

5.2多重共线性的诊断以下用SPSS软件诊断例3.2中国民航客运量一例中的多重共线性问题。

特征根判定法特征根分析根据矩阵行列式的性质，矩阵的行列式等于其特征根的连乘积。因而，当行列式|X′X|≈0时,矩阵X′X至少有一个特征根近似为零。反之可以证明，当矩阵X′X至少有一个特征根近似为零时，X的列向量间必存在复共线性，证明如下：01025.2多重共线性的诊断

记X=（X0，X1，…，Xp），其中Xi为X的列向量，X0=（1，1，…，1）′是元素全为1的n维列向量。λ是矩阵X′X的一个近似为零的特征根，λ≈0c=(c0,c1,…,cp)′是对应于特征根λ的单位特征向量，则X′Xc=λc≈0

上式两边左乘c′，得c′X′Xc≈001从而有Xc≈002即c0X0+c1X1+…+cpXp≈003写成分量形式即为04c0+c1xi1+c2xi2+…+cpxip≈0,i=1,2,…,n05这正是定义的多重共线性关系。06

特征根分析表明，当矩阵X′X有一个特征根近似为零时，设计矩阵X的列向量间必存在复共线性。那么特征根近似为零的标准如何确定哪？这可以用下面介绍的条件数确定。记X′X的最大特征根为λm，称为特征根λi的条件数（ConditionIndex）。12（二）条件数

010＜k＜10时,设计矩阵X没有多重共线性;0210≤k＜100时,认为X存在较强的多重共线性;03当k≥100时,则认为存在严重的多重共线性。用条件数判断多重共线性的准则

对例3.2中国民航客运量的例子，用SPSS软件计算出特征根与条件数如下：

方差比例是用于判断哪几个自变量之间存在共线性的。实际上共