12第十二章 回归分析-1.ppt

第十二章 回归分析-1 一. 回归分析 将存在相关的两个变量，一个作为自变量，另一个作为因变量，并把二者之间不十分准确、稳定的关系，用数学方程式来表达，则可利用该方程由自变量的值来估计、预测因变量的估计值，这一过程称为回归分析 。 回归表示一个变量随另一个变量作不同程度变化的单向关系。 回归与相关的比较 相关与回归是从不同角度对变量间关系的分析：相关关系是两个变量之间的双向关系，没有主从之分；而回归关系是两个变量之间的单向关系，是自变量对因变量的影响关系。相关关系用相关系数来表示，而回归关系用数学模型来表示，这种数学模型称为回归方程（regression equation） 。 回归与相关的选择 当旨在分析变量之间关系的密切程度时，一般使用相关系数，选择相关分析。 当研究的目的是确定变量之间数量关系的可能形式，找出表达它们之间依存关系的合适的数学模型，并用这个数学模型表示这种关系形式，则选择回归分析。这个用来表达变量之间规律的数学模型就称为回归模型。 二．一元线性回归方程的建立 1．回归分析的类别 线性回归分析、非线性回归分析。 根据自变量个数的多少，可分为： 一元回归分析、多元回归分析。 二．一元线性回归方程的建立 2．一元线性回归概念 线性回归（linear regression）：自变量与因变量之间呈线性关系（linear relationship）的回归关系。 一元线性回归是指只有一个自变量的线性回归。 又称为简单线性回归（simple linear regression）。 3．一元线性回归方程的通式 式中： a 为直线在Y轴上的截距； b 为回归系数（也是回归直线的斜率） 称为对应于X的Y变量的估计值。 4．一元线性回归方程的建立 建立回归方程的步骤一般包括： 根据数据资料作散点图，判断直线关系； 选定计算回归系数的方法（平均数法和最小二乘法）并计算回归系数b和直线的截距a。 将b和a代入直线方程的通式，得到回归方程。 ⑴．最小二乘法求回归系数 （method of least squares） 常用的拟合这条回归线的原则，就是使各点与该线纵向距离的平方和最小，也就是使误差的平方和最小。这种求回归系数的方法称为最小二乘法。 最小二乘法得到的是可能的各条直线中拟合最好的一条。 图12-2-1 回归直线示意图 图12-2-2 回归直线示意图 图中，Y与 的离差（残差）有大，有小，有正，有负，其总和为零。因此，在考虑最小总距离时需将残差值平方，取其平方和为最小值时的方程为回归方程。 分别对上式中a与b求偏导，经整理可得到回归系数的计算公式为 ⑵．求直线的截距 由回归系数公式的计算中可得 表12-1 10个学生初一与初二数学成绩回归系数计算表 回归方程为 回归方程为 ⑶．原始数据计算回归系数公式 5、回归系数与相关系数的关系 5、回归系数与相关系数的关系 5、回归系数与相关系数的关系 表12-2 10个学生初一与初二数学成绩回归系数计算表 由Ｘ估计Ｙ的方程为： 图12-2-3 学生初一与初二数学成绩的两条回归线 三．线性回归的基本假设 1．两变量呈线性关系 2．因变量Ｙ的分布为正态 3．独立性假设 4．方差齐性假设（即误差 的等分散性） 四.一元线性回归方程的检验 1．一元线性回归方程的检验的意义 根据样本数据计算出的回归方程可能有一定的抽样误差。为了考查这两个变量在总体内是否存在线性关系，以及回归方程对估计预测因变量的有效性如何，在回归方程应用之前，首先应进行显著性检验。 2．一元线性回归方程显著性检验的方法 有三种等效的方法 对回归方程进行方差分析 对两个变量的相关系数进行总体零相关的显著性检验 对回归系数进行显著性检验 3．一元线性回归方程的方差分析 ⑴．变异的分解 任意一点Y到其平均值 的距离都可分为两部分： 图12-2-2 回归直线示意图 ⑵．分解平方和 即：SST = SSR + SSE 总平方和 = 回归平方和 + 残差平方和 ⑶．分解自由度 dfＴ＝n－1 对于所有Y值而言，自由度为 n－1。 dfＥ＝n－2 在误差平方和的计算中，由于用到平均值和回归系数，因此失去两个自由度。 dfR＝dfT－dfE＝1 ⑷．计算方差 回归方差 （5）说明 如果 显著大于 ，则说明总变异中回归的贡献显著，即X与Y的线性关系显著（或称回归方程显著）。表明回归方程在整体上成立，进一步检验了变量X与Y之间是否存在线性关系。 ⑹．列回归方程的方差分析表 上述平方和可以用原始数据直接计算： 例：经计算10名学生初一和初二数学成绩的回归方程为