第2讲普通最小二乘法.pptVIP

第二讲 普通最小二乘法 ? School of Management and Economics, 2010 第二讲 普通最小二乘法 （教材第2章、第3章） 主要内容 一元回归模型的最小二乘（OLS）估计 多元回归模型的最小二乘（OLS）估计 回归方程的拟合：决定系数 引言 回归分析中的主要目的是根据样本回归函数（SRF）来估计总体回归函数（PRF），但是，由于抽样的波动，根据SRF估计出来的PRF充其量只是真实PRF的一个近似的结果。 能否设计一种规则或估计方法，使得这种近似结果的误差尽可能小？ 本讲将介绍一种最简单的估计方法——普通最小二乘法（Ordinary Least Square，OLS） 一元回归模型的OLS估计 PRF： 是不可直接观测的，要通过SRF： 去估计。 残差： 是实际值 与其估计值 之差。 普通最小二乘法 （1）采用“残差和最小”确定直线位置？ （2）采用“残差绝对值和最小”确定直线位置？ （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。 et 一元回归模型的估计问题 最小二乘法采用残差平方和最小的准则： 其中， ， 怎样得到的？ 最小二乘估计量的数学推导： 正规方程 OLS估计量的性质 根据最小化残差平方和算出来的参数估计量叫做普通最小二乘（OLS）估计量。 样本回归线通过Y和X的样本均值 残差之和为0 OLS是“最优”的估计方法 一个例子：Eviews演示 收入－消费问题（ data_2.1 ）：Y是消费，X是收入。 回归方程： 需要填入的变量 回归结果 回归曲线图 思考题 影响一个家庭消费决策的仅仅是收入因素吗？ 除了身高，你认为还有哪些因素会影响一个人的体重？ …… 多元回归模型的OLS估计 最简单的多元线性回归是三变量模型 三变量模型，即含有一个因变量和两个解释变量，其总体回归函数PRF为： 表示什么意思？ 多元线性回归的基本概念 多个自变量的回归模型 假定多元线性回归模型 那么对被解释变量Y与解释变量X2，X3，…，Xk作了 n次观测后，将所得的n组样本代入上式有 多元线性回归的基本概念 以矩阵形式表示，有 n×k 普通最小二乘估计 多元线性回归模型 假定1： 为什么有这个假定？ （未知） 普通最小二乘估计 普通最小二乘估计法（OLS） 1、原理：残差平方和最小 乘出来是什么？ 怎样估计 ？ 若矩阵 的逆存在，则上述方程有解 假定2：数据矩阵X列满秩，即矩阵 的逆存在。 列满秩的隐含意思是各个自变量之间相互独立。 对β求导并令其等于0可得 k×k 满足什么条件，这个方程才有解？ 满足什么条件， 才可逆？ 列满秩的经济含义是什么？ 思考题 最小二乘估计量 是随机变量吗？为什么？ 判断一个估计量好坏的标准是什么？ 普通最小二乘估计 普通最小二乘估计法（OLS） 2、估计方法优劣的评判 无偏性 估计值的均值为 若无偏，则有 假定3： 因在假定1之下有 假定3是什么意思？ 若有 则有 有效性 假定4： 可以证明这就是最小方差。 高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量（BLUE）。 假定4是什么意思？ 一致性： 在有限样本情形中，经典回归模型假定数据X是固定变量，否则最小二乘估计量可能是有偏的。但在大样本情况下，即便X是随机的，只要X满足一些条件，最小二乘估计量将依概率收敛于真实值。 1. X的每一列xk不退化。 2. 随着样本量的增加，个体观测值变得不重要。 3. X列满秩。 经典模型的基本假设 经典回归模型的基本假设： 假定1： 假定2：数据矩阵X列满秩，即矩阵 的逆存在。 假定3： 假定4： 普通最小二乘估计 普通最小二乘估计法（OLS） 3．最小二乘估计系数的特征 若一个多元回归中的变量是无关的，则多元回归的斜率 与在多个简单回归中的斜率相同。 回归超平面通过数据的均值点，回归拟合值的均值等于 实际值的均值。 M：用它乘以任一向量y，都将产生y对x回归的残差向量。 注意两个特殊矩阵M和P P（射影矩阵，投影矩阵）：用它乘以任一向量y， 都将产生y对x回归的最小二乘拟合值。 令拟合值 ，则有 偏回归系数 其中 ， 。 解释： 是X2对X1进行回归后的残差变量， 是y对X1进行 回归后