自变量选择与逐步回归.pptVIP

*全模型正确，误用选模型的情况选模型回归系数的OLS是全模型相应参数的有偏估计选模型的预测有偏*全模型正确，误用选模型的情况选模型的参数估计方差较小选模型的预测残差方差较小*全模型正确，误用选模型的情况在条件下，选模型预测的均方误差比全模型预测的方差小全模型估计*2自变量选择对预测的影响添加标题?当全模型正确时，而我们舍去了m-p个自变量，添加标题也是有偏的；添加标题用剩下的p个自变量去建立选模型，参数估计值是添加标题?用选模型作预测，残差的方差比用全模型去作预添加标题全模型相应参数的有偏估计，用其作预测，预测值添加标题测的方差小；添加标题?即使全模型正确，但如果其中有一些自变量对因添加标题变量影响较小或回归系数方差过大，我们丢掉这些添加标题变量后，用选模型去预测，可以提高预测的精度。全模型正确而误用选模型的情况*选模型正确，误用全模型的情况全模型的预测值是有偏估计从预测方差的角度看，选模型的预测方差小于全模型的预测方差*从均方预测误差的角度看，选模型的均方预测误差小于全模型的均方预测误差*选模型正确而误用全模型的情况?如果选模型正确，从无偏性的角度看，选模型的预测值是因变量新值的无偏估计，而全模型的预测值是的有偏估计；?从预测方差的角度看，选模型的预测方差小于全模型的预测方差；?从均方预测误差的角度看，全模型的预测误差大于选模型的预测误差。2自变量选择对预测的影响*选择自变量的基本指导思想是：少而精剔除可有可无的自变量。以估计量的有偏性为代价，用选模型估计的保留变量的回归系数的方差小，对于所预测的因变量的方差也小。*二所有子集回归01单击此处添加小标题选模型的个数残差平方和最小?复决定系数最大?02单击此处添加小标题变量越多越好*选择回归子集的准则自由度调整复决定系数达到最大；回归误差项方差估计（残差均方）最小：*什么是自由度模型中样本值可以自由变动的个数，称为自由度自由度=样本个数—样本数据受约束条件(方程)的个数例如，样本数据个数为n，它们受k个方程的约束（系数矩阵秩为k），那么，自由度df=n-k*举例:SST、SSR、SSE的自由度*对应于平方和分解的自由度的分解SST=SSR+SSEn-11n-2总自由度dfT回归自由度dfR残差自由度dfE自由度分解：dfT=dfE+dfR*选择回归子集的准则赤池信息量AIC最小：根据极大似然估计原理正态经典回归模型的选择反映回归方程的拟合精度模型复杂度*选择回归子集的准则CP统计量最小(mallows，1964)从预测角度提出：预测误差最小*三逐步回归在多元线性回归分析中，并不是所有自变量对因变量有显著的影响。问题：如何挑选出对因变量有显著影响的自变量？变量的所有可能子集构成个回归方程，当自变量个数较多时，要求出所有可能的回归方程是非常困难的。*三、逐步回归偏F检验：考虑自变量的显著性剔除xj后回归平方和前进法:少到多后退法:多到少逐步回归*前进法:少到多建立m个一元线性回归方程，取最大的则Xj进入方程一元*前进法:少到多建立m-1个二元线性回归方程，取最大的直到所有未引入方程的自变量F值均小于二元则Xj进入方程为止。1234*例题分析输出结果5.3**从输出结果中看到，前进法依次引入了变量，最优回归模型为*这是全模型的复决定系数表，比较它和选模型的复决定系数。*后退法(与前进法相反)：多到少用全部m个变量建立一个回归方程，对m个回归系数进行F检验，取最小的则Xj剔出方程m元*第5章自变量选择与逐步回归信计学院统计系沈菊红*第5章自变量选择与逐步回归自变量选择对估计和预测的影响自变量选择的准则逐步回归?前进法?后退法?逐步回归法*说明我们在建立回归模型时，首要问题是如何确定回归自变量。如果遗漏了某些重要的变量，回归方程的效果肯定不会好；如果考虑过多的