第三章多元线性回归模型目的要求1.掌握多元线性回归模.ppt

第一节 多元线性回归模型 一、 基本概念 假定被解释变量Y是解释变量X1， X2，…， XK和随机误差项U的线性函数，它们可以表示为： 即为多元线性回归模型（1）。 描述被解释变量Y的期望值与解释变量X1， X2，…， XK的线性关系方程为： E（Y）= 称为多元总体线性回归方程，简称总体回归方程（2）。 设（X1i，X2i ，….Xki，Yi）i=1,2,…n是总体（ X1， X2，…， XK，Y）的n次独立观测值，将其代入多元线性回归模型（1）。即为样本数据结构形式的多元线性回归模型（3）， Yi= +ui ， i=1,2…n 它是由n个方程，k+1未知参数组成的一个线性方程组。 方程组： Y1=b 0+ b 1X11+ b 2X21+…+ b kXk1+u1 Y2= b 0+ b 1X12+ b 2X22+…+ b kXk2+u2 … … … …. …. …. …. …. .. Yn= b 0+ b1 ? 1n+ b 2X2n+…+ bkXkn+un 向量形式为：Y=Xb+U 其中，Y= X= U= Y为n×1阶列向量；X为n×（k+1)阶矩阵，b为（k+1) ×1阶列向量；U为n×1阶列向量。 而称 为多元样本线性回归方程（4）。称 为Yi 的样本回归值或样本拟合值、样本估计值。估计的样本回归方程的矩阵形式为： 二、模型的基本假定 1. E(Ui)=0，i=1，2，…，n， 即随机误差项是一个期望值为零的随机变量，从而 E（Yi）= 2.Var(ui)=σ2 ，i=1，2，…，n， 3.Cov(ui,uj)=E(ui，uj)=0， i≠j，i，j=1，2，…，n， 4. Cov(Xij,uj)=0， i=1，2，…，k， j=1，2，…，n， 5.rank(X)=k+1n 6.随机误差项服从正态分布： ui~N（0， σ2） 第二节 参数估计及统计性质 一、回归参数的最小二乘估计 对于多元线性回归模型 （1）， 设 分别为参数b1，b2，….bk的估计量。跟一元线性回归模型同样，应用最小二乘法求估计量求得： 由最小二乘法可知：估计量应使全部观测值Yi与回归值 的残差平方和最小。 因为： ei=Yi- = 所以使： 达到最小的充分必要条件是： j=0、1、2…k 即： ……………………………………………. 写成矩阵形式即为： XTe=0 整理后得正规方程： (X′X) =X′Y 由基本假定可知： 由于 X1、X2、…、Xk 之间不是完全线性相关的，所以 X的秩为k+1，（XTX）为k+1阶方阵，则:(XTX）-1存在。正规方程两边乘以(XTX）-1 则得到估计量 =（X′X）-1 X′Y 这就是多元线性回归模型的OLS估计量的一般表达式，同样可以证明该估计量具有：线性性、无偏性、最小方差性 二、随机扰动项U的方差σ2u的估计量 被解释变量的实际样本观测值与回归值的残差为： e=Y- e=Y-X =(Xb+U)-X( ) = (Xb+U)-X[ ] =Xb+U-X[b+ ] =U-X =[In-X ]U =MU M是一阶对称幂等矩阵：即M=M′ M2=M 于是残差平方和 e′e=(MU)′MU=U′M′MU