第二章多元线性回归分析分解.doc

第二章 多元线性回归分析 多元线性回归分析是一元线性回归分析的拓展，最明显的变化是解释变量个数由一个增加到多个，模型的估计与检验原理都是一样的，当然，也会出现一些新的问题，比如多重共线性、可决系数的调整等。主要内容包括：①多元线性回归模型的定义；②假定条件，③估计方法，④估计量的特性，⑤多重可决系数，⑥t检验和F检验，⑦回归系数的区间估计，⑧点预测与区间预测，⑨预测结果的评价方法，⑩偏相关和复相关系数等。 一、多元线性回归模型 定义 1、影响被解释变量Y的解释变量X有（k-1），，…，； 2、被解释变量Y是解释变量X的线性组合； 3、被解释变量Y是参数的线性组合。 在上述条件下，多元线性回归的数学模型可以表示为： （t=1,2,3,…,n）是被解释变量（因变量），是解释变量（自变量），是随机误差项，是回归参数（通常未知）。 对经济问题的实际意义： 与存在线性关系， 是的重要解释变量。ut代表众多影响变化的微小因素。使的变化偏离了 决定的k维空间平面。 当给定样本,( t = 1, 2, …, n)时,实际样本可以表示为: 第一组为： 第二组为： 第三组为： …… …… 第n组为： 因此，上述模型也可以用方程组表示为： 模型的6个假定条件（与一元线性回归模型比较）： 1、随机差项的数学期望为零，即有： ( t = 1, 2, …, n) 2、随机差项的方差是一个常数，即有： 3、不同的随机误差项和之间互相独立，即有： ( t ，s= 1, 2, …, n. t≠s) 4、解释变量与随机误差项不相关，即有： ( i=2,3,…,k;t = 1, 2, …, n) 5、随机差项为服从正态分布的随机变量，即有： 上述五个假设与一元线性回归模型的假设条件相同。 多元线性回归模型增加的一个假设条件是关于多个解释变量之间关系的，这就是假设6： 6、任何解释变量之间不存在严格的线性相关关系。即不存在完全的多重共线性。 多元线性回归模型的矩阵表示 多元线性回归分析的四个方程： 总体回归模型: 总体回归方程: 样本回归模型: 样本回归方程: 多元回归分析中的矩阵表示 方程组表示的转化 可以定义 ，，，，，，，。 用矩阵表示的四个方程为： 总体回归模型: 总体回归方程: 样本回归模型: 样本回归方程: 假设条件的矩阵表示： 假设1: 假设2和假设3： = 假设4表示矩阵X的所有元素均为非随机因素，即X为确定性矩阵。 假设5表示矩阵U服从多元正态分布,即有： 假设6表示要求矩阵X是满秩。 第二节 参数的最小二乘估计 多元回归分析的思想与一元回归分析一样，我们仍然是要通过样本来对总体系数进行估计，在这里就是对系数矩阵进行估计，也就是对总体系数矩阵进行估计，得出其估计值。在这个估计当中，仍然使用的是最小二乘准则，即使残差平方和达到最小值。不同的是采用矩阵运算的形式来进行，具体步骤就是，求出残差，和残差平方和，进而通过一阶必要条件来解。 由样本回归模型: 和样本回归方程:，可得残差为，进而残差平方和为： 注意:1这里运用到了矩阵转置的穿脱原理；2、运用到一个标量矩阵的转置恒等；3、注意矩阵的运算中法则特别是交换律。 就残差平方对求偏导数并令其等于零得： 这就是参数矩阵的估计值。 两个有意义的结论： 1、残差和等于零 2、解释变量与残差互相独立 离差形式的最小二乘估计量 参数矩阵的估计值为。从这个估计值可以看出，要计算矩阵乘积的逆矩阵，计算工作量相当大。采用离差形式的样本观察值将大大简化计算，并且有助于我们的理解。 对多元线性回归的总体模型的两边求平均值有： （这里要注意表示方法的含义） 进一步，我们可得： 定义： ，，，，， ，， 则以离差形式表示的总体回归模型为： 总体回归方程为： 对多元线性样本回归模型两边求平均值，并变换得离差形式表示的样本回归模型为： 样本回归方程为： 进一步，运用最小二乘估计准则，可得以离差形式表示的参数估计矩阵为： 。 的求法是什么？ 第三节 最小二乘估计量的性质 一、线性特征：系数矩阵估计值是被解释变量Y和随机扰动项U的线性组合。 证明： 因为根据最小二乘估计准则，我们得出系数矩阵估计值为：，说明是被解释变量Y的线性组合。 又因为： 这说明是随机扰动项U的线性组合。 从而，具有线性性。 二、无偏性 这说明系数矩阵估计值是总体参数矩阵的无偏估计量，具有无偏性。 三、最优性（有效性、最小方差性） 指的是用最小二乘估计准则得到的系数矩阵估计值的方差最小。因此，证明时要计算出的方差，然后证明最小二乘准则下的这个方差最小。 的协方差矩阵定义为： 根据无偏