计量经济学重点笔记第一讲.doc

第一讲 普通最小二乘法的代数 问题 假定变量与具有近似的线性关系：，其中是随机误差项。我们并不知道这两个参数的值，但幸运的是我们持有一个样本容量为N的样本：。现在的问题是，我们该如何利用这个样本来较好地估计的取值呢？ 为了回答上述问题，我们可以首先依据这些观察值得到一个散点图。既然y与x具有近似的线性关系，那么我们就可以在这个散点图中拟合出一条直线来近似y与x的真实关系。如果这个直线是：，那么自然地就分别是对的估计。问题是，如何确定，以使拟合出的直线是对y与x的真实关系的良好近似呢？ 笔记： 被称为总体回归模型。由该模型有：。既然代表其他一些不重要因素对的影响，因此标准假定是：。故进而有：，这被称为总体回归方程（函数），而相应地被称为样本回归方程。是对的估计， 被称为残差，显然，而这被称为样本回归模型。 在初级计量经济学中，经常被假定为非随机的，因此；。注意，由于的取值可以是中的任意一个，因此，的非随机性实际上是指向量是非随机的，即不会随着样本的变化而变化。 两种思考方法 （一）方法一 与是N维空间的两点，我们可以选择以使这两点的距离最短。这可以归结为求解一个数学问题： 是残差的定义，因此上述获得的方法即是选择以使残差平方和最小。 （二）方法二 给定，看起来与的差异应该越小越好。然而，当我们拟合一直线以使与的距离相当小的时候，与的距离也许变远了，因此存在一个权衡。一种简单的权衡方式是，给定，拟合直线的选择应该使与、与、...、与的距离的平均值是最小的。距离是一个绝对值，数学处理较为麻烦，因此，我们把第二种思考方法转化求解数学问题： 由于N为常数，因此法一与法二对于求解与来说是没有差异的。 求解 定义，利用一阶条件，有： 由（1）也有： 在这里、。 笔记： 这表明：1、过点，即穿过数据集的中心位置；2、的取值不能保证恒成立，但其能够保证与平均来看是相等的；3、的取值不能保证每一个残差都为0，但其能够保证残差的平均值为0。 从直觉上看，如果分别作为对的良好估计，它们应该满足上述这些性质。 笔记： 由方程（2）并利用方程（1），有： 无论用何种估计方法，我们都希望残差所包含的信息价值很小，如果残差还含有大量的信息价值，那么该估计方法是需要改进的！基于上述获得取值的方法，我们可以做到（1）：残差均值为零；（2）残差与解释变量x不相关。 方程（1）与（2）被称为正规方程。把带入（2），有： 上述获得的方法就是所谓的普通最小二乘法（OLS）。 练习： （1）验证： 提示：定义的离差为，则离差之和恒成立。利用这个简单的代数结论，不难得到： 笔记： 1、要证明上述两个结论，需要确认的事实是： 与i的不同取值相对应， 的取值可以是中的任意一个，但的值不会随着i值的变化而发生变化，因为它是对这N个数求和。显然的取值也不会随着i值变化而发生变化的，故不必带有脚标i，因此。由于正是离差之和，其值为0，故。 思考一下，是否可以改写为？另外，、是否有必要写为、？ 2、定义y与x的样本协方差、x的样本方差分别为： 则。 3、基于对样本方差及其样本协方差的定义，可以验证如下三个公式成立： 其中a、b是常数。应该指出的是，在本讲义中，如果不会引起混淆，我们有时也用、来分别表示随机变量的方差及其、这两个随机变量的协方差。此时的方差及其协方差实际上就是总体方差与总体协方差，而上述三个公式仍然成立。 4、基于，再利用与不相关这个结论及其笔记3中的公式，我们可快速获得OLS公式：。 （2）假定，用OLS法拟合一个过原点的直线：，求证： 并验证：。 笔记： 1、现在只有一个正规方程，该正规方程同样表明。然而，由于模型无截距，因此在OLS法下我们不能保证恒成立。所以，尽管成立，但此时该式并不意味着成立。 2、定义， 。把对进行无截距回归，则斜率系数的估计为；把对进行无截距回归，则斜率系数的估计为。注意到正是对进行有截距回归时斜率系数的估计。 （3）假定，用OLS法拟合一水平直线：，求证：。 笔记： 证明上式有两种思路，一种思路是求解一个最优化问题，我们所获得的正规方程是；另外一种思路是，模型是模型的特例，利用的结论，并注意到此时，因此有。事实上最简单的办法是，直接利用第（2）题结论有：。 （4）对模型进行OLS估计，证明：，即残差与样本不相关。 简单线性回归拓展：多元线性回归 考虑模型，按照OLS的基本原理，其系数估计是求解如下一个最优化问题： 从而存在三个正规方程： 第一个方程意味着残差之和为零，也意味着及其；第二个方程结合第一个正规方程意味着与样本不相关；第三个方程结合第一个正规方程意味着与样本不相关。 由上述三个正规方程可以获得、、的具体表达，不过我们在此不给出具体公式，该任务留至本章第七节。 笔记： 第一个正规方程可以被改写为，其中。于是上