多元线性回归中自变量的确定课件.pptVIP

多元逐步回归多元线性回归中自变量的确定:?根据理论知识与经验决定自变量，由于对部分自变量的作用不确认，借助统计分析来实现，剔除：（1）对问题的研究可能不重要；（2）可能实际上与其他变量重叠；（3）较大测量误差。

为何要剔除一部分自变量？自变量太多，信息成本高，模型复杂，不易分析理解；?高度相关的自变量并不增强模型的预测能力，反而加大回归系数的样本变差，削弱模型的描述能力。

多元逐步回归?多元逐步回归------从m个自变量中选择Ｋ（Ｋ≤m）个自变量，拟合最优或较理想的多元线性回归方程。选出的自变量数应：?足够少：对应变量无重要作用的自变量不能多，剔除在方程外?充分多：对应变量有重要作用的自变量不能少，保留在方程中

自变量选择准则?残差平方和（SS）与确定系数（R）残2?残差均方(MS）与调整确定系数（AdjR）残2?AIC信息统计量?Ｃ统计量Ｐ?预测残差平方和ＰＲＥＳＳ

残差平方和（SS残）?残差平方和（SS）与确定系数（R）2残以某一自变量Ｘj被引入模型中导致残差平方和的改变量评价在此模型条件下Ｘj对应变量影响程度；引入Ｘj，SS减少量多，则Ｘj对Ｙ的作用大，残可被引入；剔除Ｘj，SS增加量多，则Ｘj对Ｙ的作用大，残不应剔除．

确定系数（R）2?R=1-SS/SS2残总R与SS完全相关，作为选择自变量的准2残则时完全与SS等价。残

SS与R2残?如具有p个自变量的某一种组合可使：SS与含全部（m个）自变量SS接近；残P残mR2P与R2m接近，则含这p个自变量的方程为“最优”方程。但“接近”的标准凭主观确定

SS与R2残SS值小，R2大的模型为较“优”模型。值的大小与引入自变量个数有关，随自变量个数的增加SS减少，R残SSR2残、2残缺点：按SS值小，R大的原则选择自变量，全部自2残变量均引入时的模型为较“优”模型，未起到选择自变量作用；SS变化量准则适用于比较具有相同自变量个残数模型优劣的判据，而不适合对变量个数不同的模型的比较。

残差均方(MS残）?MS=SS/（n-p-1)：残P残P含P个自变量时的MS残?MS是在SS准则基础上增加了（n-p-1)-1因残残子，随着自变量个数的增加，SS减少，残（n-p-1)同时减少，MS不一定减低。残

残差均方(MS残）?模型从无自变量开始，按自变量对Y作用大小逐渐引入，当对Y作用大的自变量引入时，SS减少幅度大于（n-p-1)减少幅度，MS残残降低；?当模型中自变量增加到一定程度，对Y作用大的自变量已基本引入，再增加自变量，SS减少幅度小于（n-p-1)减少幅度，MS残残增加。

调整确定系数（AdjR）2?作为选择自变量的准则，AdjR等价。2与MS残?缺点：当n很大，AdjR≈R2，评判效果不佳2

AIC信息统计量?由日本统计学家Akaike（1974）提出并修正以适合于回归模型选择的准则------Akaike信息量准则（Akaikeinformationcriterion)，简记AIC。?AIC实用计算式AIC=n.Ln(SS）＋２Ｐ残ＰSS：含P个自变量时的残差平方和。残ＰAIC达到最小为准则

Ｃ统计量Ｐ?Mallows，C.L（1966）提出。??：含有P个自变量的残差平方和；?：含有全部自变量（m个）的残差平方和

Ｃ统计量Ｐ?Ｃ统计量从预测出发，基于残差平方和的一个准则。Ｐ?若含有P个自变量的模型合适，?具有较小的Ｃ值，且Ｃ接近于P+1的模型为“最优”模型。ＰＰ?n大时，Ｃ准则效果好Ｐ

预测残差平方和ＰＲＥＳＳ?h度量第i个数据点到数据中心的距离ii?当ＰＲＥＳＳ达到最小的自变量组合模型为“最优”模型

自变量选择方法目的决定自变量选择方法?选择对应变量作最好预报的一组自变量----着眼点是拟合回归方程的一组自变量整体，用该组自变量应使回归方程拟合得最好；?选择对应变量作最好解释的主要自变量----着眼点是引入回归方程的一组自变量的每个自变量

自变量选择方法?最优子集法?向前法?向后法?逐步法

最优子集法?m个自变量，可建立２m-1个不同自变量组合方程，按某一自变量选择准则，从２程。m-1个方程中选择一个或几个最优的方?常用自变量选择准则：SS准则、R准则、2残AdjR2准则、Ｃ准则?建议选择：AdjRＰ2准则、Ｃ准则Ｐ

最优子集法?优点MS最小，F最大，回归方程最优；残?缺点：计算量大，如m＝15，则必须拟合２15-1=32767个子集回归方程来挑选最优，因此该法主要适用于m较小情况当样本含量n小时，结果的重复性差；不能保证：