[数学]第七章 2 回归分析.ppt

回归分析 Regression analysis 回归分析 目的：在相关分析的基础上，为明确二者联系的具体数量规律而进行的分析。 “回归” 起源：身高的例子 现代： 一个变量对另一个 变量依存关系的研究 基本思想：通过样本回归函数去对总体回 归函数作出合理的估计 回归分析的含义 理解回归分析的过程 重点考察一个特定的变量（因变量） 而把其他的变量（自变量）看做影响这一变量的因素 并通过适当的数学模型将变量间的关系表达出来 进而通过一个或几个自变量的取值来预测因变量的取值 认清自变量和因变量 因变量： （dependent variable） 被预测或被解释的变量 自变量： （independent variable） 用来预测或用来解释因变量的一个或多个变量 回归模型 条件期望的概念 例：对于同一收入水平xi, 所引起的不确定的消费支出水平yi, 是一个随机变量，它具有特定的分布，那么对应于收入水平xi, 有相应的yi的平均水平即E(y|xi)。 知识结构 一元线性回归模型 回归函数：因变量的条件期望于自变量之间的函数关系 一般形式：E(y|xi) = f(xi) 一元线性回归函数： E(y|xi) = α + βxi 例：也就是说我们要研究的是在某一特定收入水平下，消费支出的平均水平是多少。 总体回归函数 Population regression function（PRF） 表现形式： 总体回归函数： 一元线性回归模型： μi ----误差项的来源 行为的随机性 测量的误差 其它无法观察到影响Y的因素 样本回归函数 Sample regression function（SRF） 样本回归函数： 是对应于 的条件期望值 样本回归模型： yi 是因变量的实际观测值 ei 是残差项 总体回归模型和样本回归模型之间的关系 总体回归线未知且只有一条，样本回归线会随样本数据的不同而有多条； 总体回归中的系数是未知常数，但样本中的系数是随机变量； 随机项是未知的，而残差项可以计算出来 回归系数的估计 如何获得 和 ？ 针对无法观测的随机扰动项的基本假定 零均值: E(μi)=0 同方差: Var(μi | xi) = ?2 没有序列相关性: E(μiμj) =0, i ? j μi 和 xi相互独立: E(μixi)=0 正态性: 使用最小二乘法进行估计 Ordinary Least Squares( OLS ) 对回归系数α和β估计方法的选择等价于研究，究竟用哪条直线代表两个变量之间的关系 基本思想：距离各观测点最近的那条直线，误差最小。 找出最适合样本数据的一条直线，使预测值与观察值的差异最小。 由于残差值有正有负，无法正确测量出两者的距离，因此将残差值加以平方 我们的目标是要找出一条线，使每一个观察值与预测值的距离的平方和最小： 核心： Sum squares of residuals 求解极值问题 1 2 OLS估计量 OLS估计的性质 正态性 无偏性 有效性 高斯-马尔可夫定理 随机项满足经典条件下，OLS估计量是最优估计量，即OLS估计量和是BLUE（Best Linear Unbiased Estimator）的 一元回归模型的检验 回归模型检验的种类 理论意义检验 一级检验（统计学） 二级检验（计量经济学） 理论意义检验 根据自然的道理与原则 使用数学的定理或理论 根据过去研究所得 一般人的常识 根据经验或直觉 回归系数的检验 重要结论：在满足经典假设的条件下 未知数，可用样本 代替，从而得到t分布 回归系数的检验 t 检验总体斜率 Is there a linear dependency of Y on X ? 零假设和备择假设 H0: ? = 0 (no linear dependency) H1: ? ? 0 (linear dependency) 检验统计量