9.1回归分析概述9.2线性回归分析及线性回归模型9.3回归方.ppt

9.1回归分析概述 1、线性回归分析概述 线性回归分析的内容 能否找到一个线性组合来说明一组自变量和因变量的关系 如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强 整体解释能力是否具有统计上的显著性意义 在整体解释能力显著的情况下，哪些自变量有显著意义 回归分析的一般步骤 确定回归方程中的解释变量（自变量）和被解释变量（因变量） 确定回归方程 对回归方程进行各种检验 利用回归方程进行预测 2、 线性回归模型 一元线性回归模型的数学模型： 其中x为自变量；y为因变量； 为截距，即常量； 为回归系数，表明自变量对因变量的影响程度。 用最小二乘法求解方程中的两个参数，得到： 多元线性回归模型 多元线性回归方程： y=β0+β1x1+β2x2+...+βkxk β1、β2、βk为偏回归系数。 β1表示在其他自变量保持不变的情况下，自变量x1变动一个单位所引起的因变量y的平均变动。 总离差平方和可分解为 2、可决系数（判定系数、决定系数） 3、回归方程的显著性检验（方差分析F检验） 回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为： 对于多元线性回归方程，检验统计量为： 4、回归系数的显著性检验（t检验） 回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为： 对于多元线性回归方程，检验统计量为： 5、残差分析 残差是指由回归方程计算得到的预测值与实际样本值之间的差距，定义为： 对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性。残差分析包括以下内容：残差服从正态分布，其平均值等于0；残差取值与X的取值无关；残差不存在自相关；残差方差相等。 1、对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值为零，残差图的点应该在纵坐标为0的中心的带状区域中随机散落。如果残差的方差随着解释变量值（或被解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。 2、DW检验。 DW检验用来检验残差的自相关。检验统计量为： DW=2表示无自相关，在0-2之间说明存在正自相关，在2-4之间说明存在负的自相关。一般情况下，DW值在1.5-2.5之间即可说明无自相关现象。 3、探测样本中的异常值：那些影响均值的样本值 对被解释变量中异常值的探测方法有：标准化残差、学生化残差、剔除残差 对解释变量中异常值的探测方法有：杠杆值、库克距离、标准化回归系数的变化和标准化预测值的变化 4、多元回归分析中的其他问题 由于多元回归分析被解释变量受众多因素的共同影响，所以就会有如下问题出现：多个变量是否都能够进入线性回归模型，解释变量应以怎样的策略和顺序进入方程，方程中多个解释变量之间是否存在多重共线性等等。 变量的筛选问题，方法一般有向前筛选、向后筛选、逐步筛选三种基本策略。 向前筛选（ Forward ）策略：解释变量不断进入回归方程的过程。首先，选择与被解释变量具有最高线性相关系数的变量进入方程，并进行回归方程的各种检验；然后，在剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回归方程，并对新建立的回归方程进行各种检验；这个过程一直重复，直到再也没有可进入方程的变量为止。 向后筛选（ Backward ）策略：变量不断剔除出回归方程的过程。首先，所有变量全部引入回归方程，并对回归方程进行各种检验；然后，在回归系数显著性检验不显著的一个或多个变量中，剔除t检验值最小的变量，并重新建立 回归方程和进行各种检验；如果新建回归方程中所有变量的回归系数检验都显著，则回归方程建立结束。否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的变量为止。 逐步筛选（ Stepwise ）策略：在向前筛选策略的基础上结合向后筛选策略，在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。因此，逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。 多重共线性分析 多重共线性是指解释变量之间存在线性相关关系的现象。测度多重共线性一般有以下方式： 1、容忍度： 其中， 是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性相关程度。容忍度的取值范围在0