SAS软件应用之多元线性回归与相关参考.ppt

第10章 多元线性回归与相关 学习目标 熟悉多元线性回归模型矩阵形式； 掌握多元线性回归模型、参数估计过程及参数的解释， 标准化参数估计值； 了解多元线性回归共线性的诊断问题； 理解复相关系数与偏相关系数； 掌握多元线性回归的SAS程序（REG过程以及选项）。 熟悉计算偏相关系数的SAS程序。 多元线性回归与相关的基础理论 在许多实际问题中，还会遇到一个随机变量与多个变量的相关关系问题，需要用多元回归分析的方法来解决。前面介绍的一元回归分析是其特殊情形。但由于多元回归分析比较复杂，在此仅简要介绍多元线性回归分析。 由于经济现象的复杂性，一个被解释变量往往受多个解释变量的影响。多元回归模型就是在方程式中有两个或两个以上自变量的线性回归模型。多元线性回归预测是用多元线性回归模型，对具有线性趋势的税收问题，使用多个影响因素所作的预测。 多元线性回归 多元线性回归分析也称为复线性回归分析，它是一元线性回归分析或简单线性回归分析的推广，它研究的是一组自变量如何直接影响一个因变量。这里的自变量指的是能独立自由变化的变量，一般用x表示；因变量y指的是非独立的、受其它变量影响的变量，一般用y表示。由于多元线性回归分析（包括一元线性回归分析）仅涉及到一个因变量，所以有时也称为单变量线性回归分析。 回归变量的选择与逐步回归 在实际问题中, 人们总是希望从对因变量有影响的诸多变量中选择一些变量作为自变量, 应用多元回归分析的方法建立“最优”回归方程以便对因变量进行预报或控制，这就涉及到自变量选择的问题。所谓“最优”回归方程, 主要是指希望在回归方程中包含所有对因变量影响显著的自变量而不包含对影响不显著的自变量的回归方程。 在回归方程中若漏掉对Y影响显著的自变量，那么建立的回归式用于预测时将会产生较大的偏差。但回归方程若包含的变量太多，且其中有些对Y影响不大，显然这样的回归式不仅使用不方便，而且反而会影响预测的精度。因而选择合适的变量用于建立一个“最优”的回归方程是十分重要的问题。 回归变量的选择与逐步回归 选择“最优”回归方程的变量筛选法包括逐步回归法，向前引入法和向后剔除法。 向前引入法是从回归方程仅包括常数项开始，把自变量逐个引入回归方程。具体地说，先在m个自变量中选择一个与因变量线性关系最密切的变量，记为，然后在剩余的m-1个自变量中，再选一个，使得 联合起来二元回归效果最好，第三步在剩下的m-2个自变量中选择一个变量，使得 联合起来回归效果最好，...如此下去，直至得到“最优”回归方程为止。 回归变量的选择与逐步回归 向前引入法中的终止条件为，给定显著性水平，当某一个对将被引入变量的回归系数作显著性检查时，若p-value≥，则引入变量的过程结束，所得方程即为“最优”回归方程。 向前引入法有一个明显的缺点，就是由于各自变量可能存在着相互关系，因此后续变量的选入可能会使前面已选入的自变量变得不重要。这样最后得到的“最优”回归方程可包含一些对Y影响不大的自变量。 回归变量的选择与逐步回归 向后剔除法与向前引入法正好相反，首先将全部m个自变量引入回归方程，然后逐个剔除对因变量Y作用不显著的自变量。具体地说，从回归式m个自变量中选择一个对Y贡献最小的自变量，比如，将它从回归方程中剔除；然后重新计算Y与剩下的m-1个自变量回归方程，再剔除一个贡献最小的自变量，比如，依次下去，直到得到“最优”回归方程为止。向后剔除法中终止条件与向前引入法类似。 向后剔除法的缺点在于，前面剔除的变量有可能因以后变量的剔除，变为相对重要的变量，这样最后得到的“最优”回归方程中有可能漏掉相对重要的变量。 回归变量的选择与逐步回归 逐步回归法是上述两个方法的综合。向前引入中被选入的变量，将一直保留在方程中。向后剔除法中被剔除的变量，将一直排除在外。这两种方程在某些情况下会得到不合理的结果。于是，可以考虑到，被选入的的变量，当它的作用在新变量引入后变得微不足道时，可以将它删除；被剔除的变量，当它的作用在新变量引入情况下变得重要时，也可将它重新选入回归方程。这样一种以向前引入法为主，变量可进可出的筛选变量方法，称为逐步回归法。 回归变量的选择与逐步回归 它的主要思路是在考虑的全部自变量中按其对的作用大小，显著程度大小或者说贡献大小，由大到小地逐个引入回归方程，而对那些对作用不显著的变量可能始终不被引人回归方程。另外，己被引人回归方程的变量在引入新变量后也可能失去重要性，而需要从回归方程中剔除出去。引人一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步，每一步都要进行检验，以保证在引人新变量前回归方程中只含有对影响显著的变量，而不显著的变量已被剔除。 首先给出引入变量的显著性水平和剔除变量的显著性水平，然