回归分析教程.doc

回归分析 9.1 多元回归分析 9.1.1 多元回归分析概述 现实生活中，一个被解释变量往往受到多个因素的影响如，GDP的增长受投资、消费、出口的拉动；商品的消费需求，不但受商品本身的价格影响，还受到消费者的偏好、收入水平、替代品价格、互补品价格、对商品价格的预测以及消费者的数量等诸多因素的影响。在分析这些问题的时候，需要借助多元回归模型来进行量化分析。线性1. 多元线性回归模型的一般形式 设随机变量与一般变量的线性回归模型为 (9.1) 其中是个未知参数，为回归常数，为回归系数，为被解释变量（因变量），而为个可以精确测量并可控制的一般变量，称为解释变量（自变量）。当时，（9.1)式为一元线性回归模型，当时，我们就称（.1）式为多元线性回归模型。其中是随机误差项，与一元线性回归一样，对随机误差项我们常假定： （9.2） 称 (9.3) 为理论回归方程。 对于一个实际问题，如果我们获得组观测数据 ，则线性回归模型（9.1）式可表示为 (9.4) 写成矩阵形式为 (9.5) 其中 (9.6) 2. 多元线性回归模型的基本假定 为了方便进行模型的参数估计，对回归方程(.4)有如下一些基本假定。 解释变量是确定性变量，不是随机变量，且要求。 随机误差项具有0均值和等方差，即 （9.7） 这个假定称为高斯马尔科夫条件。 正态分布的假定条件为 （9.8） 3多元线性回归方程的解释 一般情况下对于含有个自变量的多元线性回归，根据方程（9.3），，从而每个回归系数表示在回归方程中其他自变量保持不变的情况下，自变量每增加一个单位时因变量的平均增加程度。因此也把多元线性回归的回归系数称为偏回归系数，简称为回归系数。 9.1.2 多元回归参数的估计与检验 回归参数的估计 最小二乘估计 多元线性回归方程未知参数的估计与一元最小二乘估计线性回归方程的参数估计原理一样，仍然采用最小二乘估计(OLSE)。对于（9.5）式矩阵形式表示的回归模型，所谓最小二乘法，就是寻找参数的估计值，使离差平方和 达到最小。 当存在时，推导可得回归参数的最小二乘估计为 （9.9） 并称 （9.10） 为经验回归方程。 （9.11） 为的残差。为回归残差向量。 误差项方差的无偏估计为 (9.12) (2) 回归参数的最大似然估计（MLE） 多元线性回归参数的MLE与一元线性回归时MLE的思想也是一致的。并且在正态假定的条件下，回归参数的MLE与OLSE完全相同，即 误差项方差的MLE为 这是的有偏估计，但是它满足一致性。在大样本的情况下，是的渐近无偏估计量。 方差分析与回归参数检验 在实际问题的研究中，我们不能事先确定随机变量y与之间是否存在线性关系，只能根据定性分析所作的假设，用多元线性回归方程去拟合随机变量y与变量之间的关系。因此，在求出线性回归方程后，还需要对方程进行显著性检验。下面介绍两种统计检验方法，一种是回归方程显著性的检验，另一个是回归系数显著性的检验。 F检验 对多元线性回归方程的显著性进行检验就是要看自变量从整体上对随机变量y是否具有明显的影响。为此提出原假设： 如果被接受，则表明随机变量y与之间的关系式由线性回归模型表示不合适。 在SPSS中可以通过方差分析表（参见表9-1）来进行检验的分析和判断。 表91 方差分析表 方差来源 平方和 自由度 均方 F值 P值 回归 SSR 残差 SSE 综合 SST 当时，拒绝原假设，认为在显著性水平下，对有显著的线性关系，也即回归方程是显著的。更通俗一些说，就是接受“自变量全体对因变量产生线性影响”这一结论犯错误的概率不超过；反之，时，接受原假设，则认为回归方程不显著。 2) 回归系数的显著性检验 在多元线性回归中，回归方程显著并不意味着每个自变量对y的影响都显著，因此我们希望从回归方程中剔除那些次要的、可有可无的变量，重新建立更为简单的回归方程。所以就需要我们对每个自变量进行显著性检验。 显然，如果某个自变量对y的作用不显著，那么在回归模型中，它的系数就取值为零。因此，检验检验变量是否显著，等价于检验假设 ， 如果接受原假设，则不显著；如果拒绝原假设，则是显著的。在SPSS中可以通过量的值与显著性水平来判断（参见表9-2） 表92 回归估计检验表 模型 非标准化系数 标准化系数 值 P值 常量 自变量 系数 标准误差 统计量