统计分析与SAS软件第五章 线性回归分析.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * 五、回归模型的判别准则 2. PRESS 统计量——预测残差平方和其中 ri 为残差，hi 为杠杆率 PERSS统计量用来比较不同方法所建立的回归模型的优劣，PRESS的值越小，模型越好。 第五节 多元线性回归分析 五、回归模型的判别准则 3. Cp 统计量其中 k 为参数个数，n 为观测数ESS(k)为含k个参数的误差平方和ESS(T)为全回归的误差平方和 Cp统计量的值越小，回归模型越好。 第五节 多元线性回归分析 一、残差（Residual）分析 残差：指实测值和预测值之间的差。 第六节 回归诊断 标准化残差： 学生化残差： 学生化残差使残差具有优良的可比性 残差图：以观测值(x或y)为横坐标，残差为纵坐标 第六节 回归诊断 方差非齐性时，可用加权最小二乘法回归，或者对因变量的数据进行适当的变换，如： 第六节 回归诊断 观测值不独立时（共线性）： 说明自变量之间存在着一定的相关性。可能遗漏了某些重要的自变量；可用逐步回归、偏最小二乘法回归或岭回归等进行分析。 第六节 回归诊断 异常点的识别： 1. 杠杆率hi 刻划第i各观测值到中心的远近。 2. 一般把标准化残差的绝对值≥2的点认为是可疑点，绝对值≥3的点认为是异常点。考虑是否作为例外值加以剔除或做其它处理。 杠杆率较大的数据点可以判别为可疑点。 第六节 回归诊断 二、贡献分析 贡献分析：从研究观测点对回归结果的影响入手，找出对回归结果影响比较大的观测点。 若存在对回归结果影响比较大的观测点时，得到的回归模型无法保证其稳定性和应用效果。 我们希望每个观测点对回归结果都产生一定的影响，个别观测的改变不会对回归模型产生较大的影响。 对强影响点的值进行复验，或增大样本容量。 1、DFFITS统计量 此统计量衡量一个观测排除与否对预测值的影响 第六节 回归诊断 一般当时，该观测值应作为强影响点加以关注。 2、Cooks D统计量 此统计量衡量一个观测排除与否对回归系数的影响 一般当 |Di|4/n 时，该观测值应作为强影响点加以关注。 第六节 回归诊断 第六节 回归诊断 三、共线性诊断 共线性：拟合多元线性回归时，自变量之间存在线性或近似线性的关系。 共线性存在时，可能会隐藏某些自变量的显著性，增加拟合模型的方差，产生很不稳定的回归模型。 进行共线性诊断的方法是基于对自变量的观测数据构成的矩阵进行分析，常用的统计量有：方差膨胀因子（容许度）和条件指数。 1、方差膨胀因子（VIF） VIF是指回归系数的估计量由于自变量的共线性使得方差增加的一个相对度量。 一般若VIF10表明存在很强的共线性。 容许度（Tol）：Tol=1/VIF 是自变量xi对模型中其余自变量线性回归模型的决定系数R2 第六节 回归诊断 若矩阵X’X特征值为， 则d1/dj，j＝1,2,…,k 就称为条件指数 2、条件指数 判别存在强共线性时，dj 对应的特征向量的变量间存在近似线性关系，根据方差贡献大于0.5找出有共线性的变量集。 条件指数在10～30间为弱相关；在30～100间为中等相关；大于100表明存在强相关。 第六节 回归诊断 第七节 注意事项 1、线性回归分析要具有实践意义。 2、线性回归关系不显著，不意味着变量间没有关系，只说明变量间没有显著线性关系，而有可能存在曲线关系。 3、线性回归关系显著，不一定变量间关系就是线性的，不排斥有更好的曲线关系。 4、回归关系显著，回归区间不能任意外推。 5、样本容量要尽可能大，才能保证回归的准确性。 * * * * * * * * * * * * * * * * * * 一、一元线性回归 二、一元线性回归方程 三、回归关系的显著性检验 四、置信区间 五、多元线性回归 六、回归诊断 第五章 线性回归分析生产实践中，常常能找到一个变量与另外一个变量之间的关系：小麦的施肥量与产量、水稻的株高和穗长、冬天的温度与来年病虫害的发生程度等等。 回归分析就是找出合适的回归方程，从而用一个变量来预测另一个变量。 一元线性回归：最简单的回归关系，即一个变量y在一个变量x上的回归关系，称x为自变量，y为因变量（或称响应变量、依赖变量） 第一节 一元线性回归 如果两个变量x，y之间存在线性回归关系，则有回归模型： 总体：yi ＝ ? + ? xi + ?i ? a 称为回归截距 ? b 称为回归系数 ?i 称为随机误差 样本：yi ＝ a + b xi + ?i 回归方程： ＝ a + b x 第一节 一元线性回归回归参数的计算——最小二乘法 期望拟合的线性回归方程与试验资料的误差最小，拟合的误差也称作离回归平方和或残差 ，可