管理课件回归系数的最小二乘估计.pdf

回归系数的最小二乘估计 设 分别为 的最小二乘估计值, 于是 的观测值 , , (2.1) 其中 为误差 的估计值, 称为残差或剩余。令 为 的估计值, 则有 , (2.2) , , (2.3) (2.3)式表示实际值 与估计值 的偏离程度。欲使估计值 与实际值 拟合的最好, 则应使残差平方 和 达到最小, 为此, 我们可以应用微分求极值原理确定 , 即解下列方程组 , (2.4) 即 , (2.5) 整理并化简则得以下正规方程组: , (2.6) 如果记(2.6)式的系数矩阵为 , 右端常数项矩阵记为 , 则有 , (2.7) , (2.8) 因此正规方程(2.6)的矩阵形式为 , (2.9) 或 , (2.10) 其中 为正规方程中待定的未知实数向量, 如果系数矩阵 满秩, 则 存在, 此时 有 , (2.11) (2.11)式即为多元线性回归模型 (1.2)式中参数的最小二乘估计。 正规方程组(2.6)亦可表达为下述另一种形式, 如果记 , , , 则由(2.6)式中第一等式可解出 , (2.12) 再将 (2.12)代入到 (2.6)其它各式中并经化简整理可得 , (2.13) 又由 , , , , 如果记 , , (2.14) , , (2.15) 则(2.13)式可以表示为 , (2.16) (2.16)式称为正规方程组, 解此方程组可得 , 再代入到 (2.12)式中则得 , 于是得回归方程 , (2.17) (2.17)式称为回归超平面方程。 如果记(2.16)式的系数矩阵为 , 右端常数项向量为 , 则 , , 且记 , 则正规方程组(2.16)的矩阵形式为 , (2.18) 解 (2.18)得 , (2.19) 再代回到 (2.