多元线性回归分析.ppt

第十四章 多元线性回归分析  Multivariate linear regression 山东大学公共卫生学院 Multivariate linear regression 二、多元线性回归分析的步骤 1、对模型的假设检验—F检验 2、对偏回归系数的假设检验—F检验和t 检验 3、标准偏化回归系数 SS总=lyy=222.5519；ν总=n-1=26 SS剩余= SS总- SS回归=222.5519-133.7107=88.8412 ν剩余=n-m-1=22 MS回归= SS回归/ν回归； MS剩余= SS剩余/ν剩余； F= MS回归/ MS剩余 评价回归方程回归效果的优劣是回归分析的重要内容之一。 常用评价指标有： 复相关系数、 决定系数、 校正决定系数、 剩余标准差等。 1.复相关系数 复相关系数（R），衡量因变量Y与回归方程内所有自变量线性组合件相关关系的密切程度。 0=R=1,没有负值。 R的值越接近1，说明相关关系越密切；越接近0说明相关关系越弱。 （一）最优子集回归法 最优子集法的局限性 （二）逐步选择法 （1）前进法 （2）后退法 （3）逐步回归法 第三节 多元线性回归的应用及其注意事项 二、 多元线性回归应用时的注意事项 1．样本含量 2．方程“最优”问题 3．关于逐步回归 4．多元共线性 5. 异常值识别与强影响分析 多元共线性的表现在实际应用中主要表现为： （1）模型拟合效果很好，但偏回归系数几乎都无统计学意义； （2）偏回归系数估计值的方差很大； （3）偏回归系数估计值不稳定，随着样本含量的增减各偏回归系数发生较大变化或当一个自变量被引入或剔除时其余变量偏回归系数有很大变化； （4）偏回归系数估计值的大小与符号可能与事先期望的不一致或与经验相悖，结果难以解释 出现以上表现，提示存在多元共线性问题，应进行多元共线性诊断。 3、剩余标准差 4、校正决定系数 三、逐步回归分析 求出所有自变量可能组合子集的回归方程的模型（共有2m－1个），按一定准则选择最优模型，常用的准则有： ①校正决定系数（考虑了自变量的个数） ②Cp准则（C即criterion，p为所选模型中变量的个数；Cp接近p+1的模型为最优） ③AIC(Akaike`s Information Criterion)准则；AIC 越小越好 如果自变量个数为4，则所有的回归有24－1＝15个；当自变量数个数为10时，所有可能的回归为 210－1＝ 1023个；……..；当自变量数个数为50时，所有可能的回归为250－1≈1015个。 1. 前进法（forward selection） 2. 后退法（backward elimination） 3. 逐步回归法（stepwise regression）。 它们的共同特点是每一步只引入或剔除一个自变量。决定其取舍则基于对偏回归平方和的F检验 自变量从无到有、从少到多 Y对每一个自变量作直线回归，对回归平方和最大的自变量作F 检验，有意义（P小）则引入。 在此基础上，计算其它自变量的偏回归平方和，选取偏回归平方和最大者作F 检验，…。 局限性：后续变量的引入可能会使先进入方程的自变量变得不重要。 先将全部自变量放入方程，然后逐步剔除 偏回归平方和最小的变量，作F检验及相应的P值，决定它是否剔除（P大） 。 建立新的回归方程。重复上述过程。 局限性：自变量高度相关时，可能得不出正确的结果；开始时剔除的变量即使后来变得有显著性也不能再进入方程 。 双向筛选：引入有意义的变量（前进法），剔除无意义变量（后退法） 小样本检验水准 a 一般定为0.10或0.15，大样本把a值定为0.05。 a值越小表示选取自变量的标准越严。 用逐步回归法筛选自变量 进入方程的自变量 剔出方程的自变量 每一步时模型的决定系数R2 C(p)统计量 标准化偏回归系数 y=0.35409x2-0.36013x3+0.41334x4 多元共线性是指在进行多元回归分析时，自变量间存在较强的线性相关关系。共线关系的存在，可使得估计系数方差加大，系数估计不稳，结果分析困难。因此在多元回归分析时，特别是当回归结果难以用专业知识解释时，要进行共线性诊断，找出存在共线性且不重要的那些自变量，剔出方程，另行回归分析。 对于存在共线性的资料，可以利用共线性诊断有选择的保留自变量以消除共线性；或者采用岭回归、主成分回归等回归分析方法以避免共线性指标对结果的影响。 4．多元共线性 * * 人的体重与身高、胸围 血压值与年龄、性别