10线性回归分析.ppt

例：人均收入 X 与人均食品消费支出 Y 的散点图的关系如图。 三、逐步回归 回归系数的 F 检验 检验回归系数 ?j 是否显著性异于 0 , 除了 T 检验外, 还有针对回归系数 (而不是针对总体回归效果)的F检验. 假设Ho: ?j = 0; 备择假设H1: ?j ? 0 (即 Ho 不成立). 可以证明, 服从 ?2(1) 分布, 且与 (也服 从 ?2 (n-k)分布)相互独立. 若再记: , 则有 Fj = (n-k)Vj / Q 服从F ( 1, n-k) 分布. 把 Fj 的显著性概率 p 与置信度水平 ? 比较, 就可以判断一个变量 xj 是否应当成为自变量: P 0.05 , 接受Ho , ?j与 0 没有显著性差异, xj不应成自变量. P ? 0.05 , 拒绝Ho , ?j与 0 有显著性差异, xj 应成自变量. 2. 偏解释变差 (偏回归平方和) 在一个回归方程中, 当把 xj 从自变量的队伍中删除以后, 我们可以得到一组新的回归系数的估计值: 第十章 线性回归分析 变量之间的关系有两种： 确定型的函数关系 不确定型的函数关系 这里主要研究不确定型的函数关系，如收入与受教育程度之间的关系，等等问题。 但它们之间存在明显的相互关系（称为相关关系），又是不确定的。 回归分析是研究随机变量之间相关关系的统计方法。其研究一个被解释变量（因变量）与一个或多个解释变量（自变量）之间的统计关系。 1.一元线性回归是研究一个自变量与一个因变量的统计关系。 一. 一元线性回归 人均收入X 人均食品支出 Y 这两个变量之间的不确定关系，可以用下式表示： 式中，人均食品消费支出Y 是被解释变量， 人均收入 X 是解释变量，?1， ?2是待估计参数；u 是随机干扰项， 且与 X 无关， 它反映了 Y 被 X 解释的不确定性。 如果随机干扰项 u 的均值为 0， 对上式求条件均值，有 反映出从“平均”角度看，是确定性关系。 例：地区的多孩率与人均国民收入的散点图如下： 人均收入X 多孩率 Y 这两个变量之间的不确定关系，大致可以用下式表示： 设 Z =Ln X ，可将上式线性关系为： 线性回归的任务：就是用恰当的方法，估计出参数 ?1， ?2 ，并且使估计出来的参数具有良好的统计特征，所以，回归问题从某种视角看，视同参数估计问题。 如果把X，Y的样本观测值代到线性回归方程中，就得到 i =1,2, …,n, n为样本容量. 从重复抽样的角度看， Xi，Yi也可以视为随机变量。 2. 高斯基本假设 对于线性回归模型 i =1,2, …,n, n为样本容量. 高斯基本假设如下: ui 为随机变量 ( 本假设成立, 因为我们研究就是不确定关系). E(ui) =0, 随机干扰项的期望值等于零(本假设成立, 如果其均值不是零, 可以把它并入到 ?1 中). Var(ui) =?2u , 随机干扰项的方差等于常数(本假设有可能不成立, 以后讨论不成立时如何处理). E(uiuj)=0 (i?j) 随机干扰项协方差等于零(本假设 有可能不成立, 以后讨论不成立时如何处理). (5) ui 服从 N(0, ?2u )分布; (6) E(Xiuj)=0, 对Xi 的性质有两种解释: a. Xi 视为随机变量, 但与uj无关, 所以(6)成立. b. Xi 视为确定型变量, 所以(6)也成立. 3. 普通最小二乘法 (OLS) 设线性回归模型 其中 为?1， ?2 的估计值, 则 Y 的计算值?, 可以 用下式表达: 所要求出待估参数 , 要使 Y 与其计算值?之间的“误差平方和”最小. 即： 使得 最小. 为此, 分别求Q 对 的偏导, 并令其为零: 由上两式, 就可求出待估参数 的值. 4. 所求参数的计算公式 的另一个表达式为: 5. 几何解释 残差向量 e =Y – ? = (Y-Y) - (?-Y) = y- ? 向量 y, ?, e 三者之间关系如图所示, 普通最小二乘法要使残差平方和 ? e2i 最小, 也就是要使 e 的长度尽可能小, 等价于在几何上 e ? x . 或者说, ? 的长度应当是 y 在 x 上的投影长度. y x e 二. 多元线性回归 本节要研究一个被解释变量 (因变量) , 多个解释变量(自变量)的线性模型, 即 1. 基本假设 u 为随机变量向量 ； E(u) =0； cov(u) =E(u uT)