现代回归分析方法.ppt

现代回归分析方法 上海财经大学统计系 韩小亮 数 据 资 料（data） 应 变 量（response ） 自 变 量 （independent variables, predictor variables) 这 里n 是 记 录 数 目，k 是 自 变 量 数 目（ 包 括 常 数 项). 基本模型: 2.线性回归(Linear Regression) 模 型： Y = X? + ? 这 里 X是Z 的函数(已知), ? 是 未 知 参 数 向 量 ，? 是 误 差 项 也 就 是 说 有 线 性 模 型 的 假 设： 参 数 估 计（?）： 最 小 二 乘 估 计 → 有 (注意:这里没有用到正态分布的假定) 极 大 似 然 估 计 这 里 在正态分布 的假定下 这 个 估 计 是 所 谓BLUE 的. 估计量的分布 残 差 平 方 和 的 分 布 → 方 差 的 估 计： （ 矩 估 计） 显 著 性 1。 模 型 的 显 著 性， 即 检 验 假 设 使 用 统 计 量 当 为 真 时 2。某个因素的显著性，即检验假设 定义对称方阵 设 为其对角元素，则有检验统计量 当 成立时 模型选择（变量数目） 当两个模型有嵌套的(nested)关系时，可以用下述 F 检验来决定取舍 模型1: 模型2: 当 为真时 这里 是回归平方和, 是残差平方和. 方差分析表 拟合优度 确定系数: R2 statistic: ? R2c (adjust R2): Under H0：?1 = ?2 = … = ?p-1 = 0 ? (test R2 exactly equivalent to F test) 应变量的变换(transformation of response) 目的： 1。正态分布（对称）； 2。同方差； 3。相加性。 异方差或者不独立 加权最小二乘估计 : 假如 Y = X? + ? ? ? ~ N( 0, ?2V) ?而且V 已知，则存在满秩对称矩阵 P ? PＴP ＝ PP ＝P２ ＝V ?且有 P－1 ? ~ N( 0, ?2In ) 即 ? P－1Y| X ~N(P－1 X?, ?2In ) 对 P－1Y ＝ P－1 X?＋ P－1 ? ?取最小二乘估计，得 ?^ ＝ (XTV－1X)-1XTV－1Y? 称之为加权最小二乘估计 (weighted least square estimator) ?有 ?^ ~ N(? , ?2 (XTV－1X)-1) 3.共线性 (Multicollinearity, collinearity) 这里主要讨论“几乎”共线性，顺便也讨论一下精确的共线性 定义：自变量之间存在强烈的线性关系。 精确地说， 存在 使 或 对至少一个 k成立. 迹象： XTX至少有一个很小的特征值(≈0) ? 注意: λj≥0 for j=1,2,…,p (这里λj 是XTX的特征值). 影响: 典型的影响是使参数估计的方差增大从而使整个估计不精确. ? 总的说来: Var(?^ )= ?2 (XTX)-1 具体地说: Var(?^j )= for j=0,1,…,p-1 这里 R2j 是 即其它自变量对自变量j回归的确定系数. ? 线性回归的理想要求是:Y对X有很强的线性关系,而X之间有较弱的线性关系. ? 共线性的测度 (1)?? VIF (variance inflation factor) ? VIFj=