第三节 最小二乘估计量的性质.doc

第三节 最小二乘估计量的性质 三大性质：线性特性、无偏性和最小偏差性 线性特性的含义 线性特性是指参数估计值和分别是观测值或者是扰动项的线性组合，或者叫线性函数，也可以称之为可以用或者是来表示。 1、的线性特征证明 （1）由的计算公式可得： 需要指出的是，这里用到了 因为不全为零，可设 ，从而，不全为零，故。这说明是的线性组合。 （2）因为，所以有 这说明是的线性组合。 需要指出的是，这里用到了 以及 2、的线性特征证明 （1）因为，所以有 这里，令，则有 这说明是的线性组合。 （2）因为回归模型为，所以 因为。而 所以， 这说明是的线性组合。 至此，参数的线性特性证明完毕。 问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、随机扰动项和的随机性来理解。 无偏性的含义 所谓无偏性是指估计值的均值等于真实值。在这里，无偏性是指参数估计值和的期望值分别等于总体参数和。其数学上要求是 和。 证明：根据参数估计值的线性特征，我们推导出： ，所以有： 相似地，，所以有 最优性（有的书本上直接称之为最小方差性）的含义 最优性是指用最小二乘法得到的参数估计值和在各种线性无偏估计中得到的方差最小。 根据上述的定义，我们可以任意假设是用其他方法得到的总体参数的一个线性无偏估计。 因为具有线性特性，我们可以得到： ， 又因为是用其他方法得到的总体参数的一个无偏估计，所以有 所以由上述两个结果，可以得到： 上述式子要成立，必须同时满足两个条件，即 和 现在求的方差： 因为根据假设条件（常数方差和非自相关，即 和 所以，有 方差的最后一项为 这是因为和 因此，有 很明显，当时，方差最小，此时，最小值为。而在此时，有 即两个估计值相等。 因为的最小方差等于的方差，即，因此，我们说，在所有线性无偏估计中的方差最小，且最小方差为： 同理，我们可以证明，在所有线性无偏估计中的方差最小，且参数估计值的方差为： 。 由此，说明，最小二乘估计具有BLUE(best linear unbiased estimation)性质。从而在统计学和计量经济学中得到广泛应用。 第四节 系数的显著性检验 系数估计值的特性： 1、根据系数估计值的线性特性，我们知道系数估计值是和的线性组合。又因为和都服从正态分布，所以，我们可以自然得到两点：一是系数估计值是随机变量（这里是在数学上再次予以证明）；二是系数估计值服从正态分布。从而，可以用随机变量的一些数字特征来表示。通常，我们采用的是均值与方差。 系数估计值的均值是多少呢？ 根据系数估计值的无偏性，我们知道，，。这说明系数估计值和这两个随机变量的数学期望（均值）分别等于总体参数（实际值）。 系数估计值的方差又是多少呢？ 根据系数估计值的最小方差性的证明，我们得到了其方差，即有 ，。 至此，我们可以用随机变量的数学期望和方差来刻画和这两个随机变量的分布，即有：服从均值为、方差为的正态分布；而服从均值为、方差为的分布。用数学的语言可以描述为：和。 可以明显看出的是，在系数的描述中，方差中含有随机扰动项的方差，其他我们可以得到。随机扰动项是总体回归模型中的误差项，无法得到，只能对其估计。 随机误差项方差的估计 因为总体回归模型为： 而样本回归模型为： 从形式上看，样本回归模型中的残差可以看作随机扰动项的估计值。进一步，残差的方差可以作为随机扰动项的方差的估计值。 样本回归模型为： 样本回归直线为： 样本回归模型的左右两边减去样本回归直线的左右两边，可得： ，把这个式子重新安排一下，可以得到： 现在，重点要求的是的两个部分，即和。这两部分知道之后，才能求的方差。 对样本回归模型两边分别对t求和，再除以n,有： 由前边的正规方程组，我们曾经知道，点在样本回归直线上，用数学的语言来讲，就有：，因此，有 ，进而，有 对总体回归模型两边分别对t求和，再除以n,有： 所以，由，可得， 将两部分结合起来，现在，我们可以得到： 可以得到：，（从这个式子我们可以看出什么呢？）至此，已经将残差与扰动项联系起来了。 由此，我们可以得到： 进一步，有： 在这三项当中，有： 所以，第一项为 第二项为： 第三项为： 故有，也就是说 如令，则意味着。这说明是的无偏估计量。前面，我们已经求得 和。在和的方差中都含有未知量。这里，我们证明了是的无偏估计量，因此，可以用作为的估计值，这样，代入得到和的方差的估计值分别为： 和 ，，分别称为回归模型的标准差、参数估计值和的标准差。 知道了估计值的方差估计值，就可以对参数进行显著性检验，也可以估计总体参数的置信区间。 二 参数估计的显著性检验 以上一节家庭消费