第十一章 多元回归与复相关分析.doc

§11.3 多元线性回归 前几节介绍了只有一个自变量时回归分析的方法。但实际中，因变量常受不只一个自变量的影响。如植物生长速度受温度，光照，水分，营养等影响。在这种情况下抛开其他因素不管只考虑一个因素是不适当的。因此有必要研究多个自变量的回归分析。 多元线性回归方程 k个自变量的情况下，线性回归模型变为： （11.21） 其中，即它们为独立同分布的正态随机变量。 为求出各回归系数和, j=1, 2,……k的值，同样采用最小二乘法，即用使残差平方和 达到最小的和，j=1, 2, ……k作为和的估计值。其中 p = 1,2,……n。 令关于a和bj各的偏导数为0，可得： 整理，得正规方程如下： 由上述方程组中第一个方程解得： （11.22） 代入其余方程，得： （11.23） 其中 1≤i≤k, 1≤j≤k 从上述方程组中可解得b1,b2,……bk,从而求得a。可证明它们分别为β1，β2……βk和α的无偏估计量。bj称为Y对Xj的偏回归系数，它表示其他自变量固定时，Xj改变一单位所引起的Y的平均改变量。 从上述公式可见，多元回归的计算是相当麻烦的，现在通常用计算机完成。在确有多个因素影响因变量的情况下，应使用多元回归，否则会造成回归分析的失败。 矩阵解法 由于上述公式繁杂，为简化，可引入矩阵表示法。矩阵就是矩形的数表，一般用黑体字母表示。它定义了一些特殊的运算规则，如加法、乘法、转置、求逆、微分等。涉及多元问题时都要使用它。 多元回归可用矩阵表示如下：令 其中β0 =α，b0 = a。 Y = Xβ+ε （11.24） 估计值为： （11.25） 残差为： （11.26） 残差平方和为： SSe = e(e = (Y - XB)((Y - XB) = (Y( - B(X()(Y - XB) = Y(Y - B(X(Y - Y(XB + B(X(XB = Y(Y - 2Y(XB + B(X(XB (11.27) （注意上式中每一项均为一个数字，而不是一个矩阵。） 对B求偏导，得： （5.28） （根据矩阵微分法则，） 令(5.28)式等于0，得正规方程为： X(XB = X(Y （11.29） ( B = (X(X)-1X(Y （11.30） B的期望和方差为： E(B) = E[(X(X)-1 X(Y] = (X(X)-1 X(( E(Y) = (X(X)-1 X(( E(X( + () = (X(X)-1 X(((X( + E(()) = (X(X)-1 ( X(Xβ = ( 即：B为(的无偏估计。 D(B) = D[(X(X)-1 X(Y] = (X(X)-1X( ( D(Y) ( X(X(X)-1 = (X(X)-1 X( ( I ( (2 ( X(X(X)-1 = (2 (X(X)-1 （∵ Y的各分量独立，且方差均为(2） 上述矩阵主对角线上的元素是b0, b1, ……bk的方差，其他元素是各回归系数bj两两之间的协方差，因此可写为： （11.31） 从上述推导过程可见，采用矩阵表示法后，多元回归的过程确实显得简单了不少。 多元回归的统计检验 回归方程的显著性检验 回归方程的显著性检验实际是检验所有的xj, j=1, 2, ……k作为一个整体与Y的线性关系是否显著。其假设为： H0: (1 = (2 = ……(k = 0, HA: 至少一个(j≠0 1≤j≤k 检验方法仍为方差分析。可以证明，在多元回归的情况下y的校正平方和仍可分解为回归平方和与残差平方和两部分： 它们的自由度分别为n-1, n-k-1, 和k。采用（5.23）式中的记号，可得： 其中