第十二章线性回归.doc

第一节 线性回归模型的建立方法 一、回归分析与相关分析的关系 回归分析是根据一个已知变量来预测另一个变量平均值的统计方法。 回归与相关之间既存在着密不可分的关系，也有本质的区别。从关系看，若两变量无相关时（即r=0），则不存在预测的问题；若两变量存在关系，那么相关程度愈高，误差愈小，预测的准确性越高。当变量完全相关时（即r=1），意味着不存在误差，其预测将会完全准确的。从区别看，一是相关表示两个变量双方向的相互关系，回归只表示一个变量随另一个变量变化的单方向关系。二是回归中有因变量和自变量的区分，相关并不表明事物的因果关系，对所有的研究变量平等看待，不作因变量、自变量的区分 二、回归分析的内容 （一）建立回归方程 （二）检验方程的有效性 （三）利用方程进行预测 三、回归模型与回归系数 1、用来表达变量之间规律的数学模型称为回归模型。 2、回归模型的分类 （1）线性回归模型和非线性回归模型 （2）简单回归模型（一个自变、一个因变量）和多重回归模型（两个以上自变量） （3）一元线性回归是指只有一个自变量的线性回归（linear regression），对具有线性关系的两个变量，回归的目的首先是找出因变量（一般记为）关于自变量（一般记为）的定量关系。 3、一元线性回归方程 代表X与Y的线性关系，X为自变量， Y 为对应于X的Y变量的估计值，常数a表示该直线在Y轴的截距，常数b表示该直线的斜率。在回归分析中，b叫做回归系数。 因回归表示两个变量单方向的推算关系，所以既可以用去预测，也可以用去预测。因此，回归方程有两个。 以为自变量预测因变量时，方程为 以为自变量预测因变量时，方程为 四、一元线性回归模型建立方法 例12-1：下表中10对数据是为确定某心理量与物理量之间的关系而做的实验结果（表中物理量是取对数后的值）。假设两者呈线性关系，试以这10对数据结果建立该心理量与物理量的回归方程。 被试 A B C D E F G H I J 心理量（X） 1 1 3 3 4 5 6 7 8 9 物理量（Y） 0 2 1 5 4 2 6 2 5 7 ㈠平均数方法 将N对数据按奇偶顺序分为两组，然后分别代入设定的回归方程求和，计算和 第一组（奇数组） 1=a+0·b 3=a+1·b 4=a+4·b 6=a+6·b 8=a+5·b 22=5a+16·b… ⑴ 第二组（偶数组） 1=a+2·b 3=a+5·b 5=a+2·b 7=a+2·b 9=a+7·b 25=5a+18·b…⑵ ⑴与⑵联立，成二元一次方程组： 22=5a+16·b… ⑴ 25=5a+18·b…⑵ 解得a=-0.4,b=1.5,代入设定的方程 答：该心理量与物理量的回归方程为 （二）最小二乘法 1、所谓最小二乘法，就是如果散点图中每一点沿Y轴方向到直线的距离的平方和最小，就是使误差的平方和最小，则在所有直线中这条直线的代表性是最好的，它的表达式就是所要求的回归方程。 2、最小二乘法的原理 就方程而方，对平面上任何一条直线我们都可以用数量()去刻划点(,)到这条直线的远近。其中, 是实际观测值，是估计值。由于，所以当我们用去估计时，要使其估计的误差平方和尽可能小。当最小时，方程所表示的直线就是最优拟合直线。所以求最优拟合方程的问题就可以归结为根据实际观测值求出方程中的两个常数和，使的值最小。 方程中，每一点到直线沿Y轴方向的距离平方和为： 由分别求,的偏导数，并令它们等于0，则有 经整理，并省略X与Y字母下面的下标，上面两式分别写成： 两边同除以N，得 根据例11-1中的数据，使用最小二乘法求回归方程。 代入公式 得b=0.81 再代入公式 得a=1.95 则，回归方程为： 五、回归系数与相关系数的关系 ∴ 同理， ∴ 六、线性回归的基本假设 1、线性关系假设 2、正态性假设 3、独立性假设 4、误差等分散性假设 第二节 回归模型的检验与估计 就是回归方程在一定程度上揭示了特定变量之间的相关关系，并找出了代表这一关系比较合适的数学模型。但方程的效果如何，只有在两变量具有显著的线性相关关系时，所建立的回归方程才是有效的。对求得的回归方程进行显著性检验，看是否真实地反映了变量间的线性关系，称为回归模型的有效性检验。 一、回归方程效果的检验 线性回归模型的有效性检验通常使用方差分析的思想和方法进行。根据方差分析的原理，在回归的方差分析中总变异被分解为自变量的变异和误差的变异。其分析过程也是从总平方和的分解到自由度的