多重线性回归.ppt

第十三章 多因素线性回归 主要内容 1 多重线性回归模型简介 2 回归系数的估计 3 多重回归的假设检验 4 评价回归方程的标准 5 自变量的筛选 6 多重线性回归的应用及其注意事项 某地13岁男童身高、体重、肺活量的实测数据 问题 身高、体重与肺活量有无线性关系？ 用身高和体重预测肺活量有多高的精度？ 单独用身高、或体重是否也能达到同样效果？ 身高的贡献大，还是体重的贡献大？ 一、多重线性回归模型 多重线性回归数学模型： Y为因变量的实际观测值 X1、X2、…Xm为m个自变量 为常数项 为总体偏回归系数 为残差，Y的变化中不能用现有自变量解释的部分 多重线性回归方程 b0为截距(intercept)，又称常数(constant), 表示各自变量均为0时y的估计值 bj称为样本偏回归系数(partial regression coefficient)， 表示在其他自变量固定不变的情况下，自变量xj每改变一个单位时单独引起因变量y的平均改变量。 称为 y 的估计值或预测值(predicted value) 举例 根据某地29名13岁男童的身高x1(cm)，体重x2(kg)和肺活量y(L)建立的回归方程为： 当x1=150，x2=32时， 表示对所有身高为150cm，体重为32kg的13岁男童，估计平均肺活量为1.9168(L)。 二、回归系数的估计 最小二乘法(least square, LS) 基本思想 残差平方和(sum of squares for residuals)最小 用偏导数方法可得出下列正规方程组 求解正规方程组得偏回归系数 标准化偏回归系数（standardized partial regression coefficient) 无量纲， 越大说明相应的自变量xj 对y的贡献越大 例20-1 总胆固醇和甘油三酯对空腹血糖的影响 三、多重回归的假设检验 回归方程（模型）的检验 偏回归系数的检验 模型检验 方差分析法 确定系数法 方差分析法 变异分解 1.总变异： 2.引进回归以后的变异(剩余): 3.回归的贡献，回归平方和： 回归方程检验的方差分析表 检验步骤 1.建立假设，确定检验水准 2.计算F值 3.确定P值，得出结论 确定系数法 (coefficient of determination) 确定系数 R2可用于检验多元回归方程 H0：?2=0； H1：?2?0。 检验统计量为： 偏回归系数的假设检验 t检验 H0：? j =0； H1：? j?0。 偏回归平方和法 偏回归平方和：是指将某自变量xj从回归方程中删除后所引起的回归平方和减少的量。 例20-1 总胆固醇和甘油三酯对空腹血糖的影响 模型检验结果 偏回归系数的t检验结果 偏回归平方和法的检验结果 评价回归方程的标准 复相关系数 校正复相关系数 剩余标准差 复相关系数(multiple correlation coefficient) 0≤R≤1 R反映的是因变量与所有自变量的总的相关关系,当方程中自变量个数增加时,R总是增加的。当只有一个因变量y与一个自变量x时，R就等于y与x的简单相关系数之绝对值：R= | ryx |。 根据R的大小判断方程的优劣时，结论总是自变量最多的方程最好，用R衡量方程的优劣是有缺陷的。 校正复相关系数Rad 当有统计学意义的变量进入方程中，可使Rad增加，而当无统计学意义的变量增加到方程中时， Rad反而减少。 Rad是衡量方程优劣的重要指标 剩余标准差 剩余标准差 小则估计值与实测值接近，反之则估计值与实测值相差较大，它是反映回归方程精度的指标 自变量的筛选 全面分析法 前进法 后退法 逐步回归法 全面分析法（最优子集法） 从所有可能的变量组合的回归方程中挑选最优者，即把所有包含1个、2个、…直至全部k个自变量的回归方程都计算出来（ ），挑选剩余标准差最小的。 前进法的基本思想 选定一个标准。 开始方程中没有自变量(常数项除外) 按自变量对y的贡献大小由大到小依次挑选进入方程。 每选入一个变量进入方程，则重新计算方程外各自变量对y的贡献。 直到方程外变量均达不到入选标准，没有自变量可被引入方程为止。 图示：前进法 前进法 Y，X1　X2 X3 X4 X5 第一步 建立5个方程 Y与x1 P1=0.015 Y与x2