多元线性回归分析精要.ppt

3、剩余标准差 4、校正决定系数 三、逐步回归分析 （一）最优子集回归法 求出所有自变量可能组合子集的回归方程的模型（共有2m－1个），按一定准则选择最优模型，常用的准则有： ①校正决定系数（考虑了自变量的个数） ②Cp准则（C即criterion，p为所选模型中变量的个数；Cp接近p+1的模型为最优） ③AIC(Akaike`s Information Criterion)准则；AIC 越小越好 最优子集法的局限性 如果自变量个数为4，则所有的回归有24－1＝15个；当自变量数个数为10时，所有可能的回归为 210－1＝ 1023个；……..；当自变量数个数为50时，所有可能的回归为250－1≈1015个。 （二）逐步选择法 1. 前进法（forward selection） 2. 后退法（backward elimination） 3. 逐步回归法（stepwise regression）。 它们的共同特点是每一步只引入或剔除一个自变量。决定其取舍则基于对偏回归平方和的F检验 （1）前进法 自变量从无到有、从少到多 Y对每一个自变量作直线回归，对回归平方和最大的自变量作F 检验，有意义（P小）则引入。 在此基础上，计算其它自变量的偏回归平方和，选取偏回归平方和最大者作F 检验，…。 局限性：后续变量的引入可能会使先进入方程的自变量变得不重要。 （2）后退法 先将全部自变量放入方程，然后逐步剔除 偏回归平方和最小的变量，作F检验及相应的P值，决定它是否剔除（P大） 。 建立新的回归方程。重复上述过程。 局限性：自变量高度相关时，可能得不出正确的结果；开始时剔除的变量即使后来变得有显著性也不能再进入方程 。 （3）逐步回归法 双向筛选：引入有意义的变量（前进法），剔除无意义变量（后退法） 小样本检验水准 a 一般定为0.10或0.15，大样本把a值定为0.05。 a值越小表示选取自变量的标准越严。 用逐步回归法筛选自变量 进入方程的自变量 剔出方程的自变量 每一步时模型的决定系数R2 C(p)统计量 标准化偏回归系数 y=0.35409x2-0.36013x3+0.41334x4 第三节 多元线性回归的应用及其注意事项 二、 多元线性回归应用时的注意事项 1．样本含量 2．方程“最优”问题 3．关于逐步回归 4．多元共线性 5. 异常值识别与强影响分析 多元共线性是指在进行多元回归分析时，自变量间存在较强的线性相关关系。共线关系的存在，可使得估计系数方差加大，系数估计不稳，结果分析困难。因此在多元回归分析时，特别是当回归结果难以用专业知识解释时，要进行共线性诊断，找出存在共线性且不重要的那些自变量，剔出方程，另行回归分析。 对于存在共线性的资料，可以利用共线性诊断有选择的保留自变量以消除共线性；或者采用岭回归、主成分回归等回归分析方法以避免共线性指标对结果的影响。 4．多元共线性 多元共线性的表现在实际应用中主要表现为： （1）模型拟合效果很好，但偏回归系数几乎都无统计学意义； （2）偏回归系数估计值的方差很大； （3）偏回归系数估计值不稳定，随着样本含量的增减各偏回归系数发生较大变化或当一个自变量被引入或剔除时其余变量偏回归系数有很大变化； （4）偏回归系数估计值的大小与符号可能与事先期望的不一致或与经验相悖，结果难以解释 出现以上表现，提示存在多元共线性问题，应进行多元共线性诊断。 方差膨胀因子VIF 特征根 条件指数 方差分量 如果某一自变量只是和截距项存在共线性的话，可以认为不存在共线性。 残差 学生化残差 cook’s距离 多元线性回归分析 Multivariate linear regression 人的体重与身高、胸围 血压值与年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史 糖尿病人的血糖与胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂 射频治疗仪定向治疗脑肿瘤过程中，脑皮质的毁损半径与辐射的温度、 照射的时间 一个变量的变化直接与另一组变量的变化有关： 如： Multivariate linear regression 概念： 多元线性回归分析也称复线性回归分析（multiple linear regression analysis）,它研究一组自变量如何直接影响一个因变量。 自变量（independent variable）是指独立自由变量的变量，用向量X表示；因变量（dependent variable)是指非独立的、受其它变量影响的变量，用向量Y表示；由于模型仅涉及一个因变量，所以多元线性回归分析也称单变量线性回归