回归模型-1幻灯片.ppt

* * 统计模型及其应用 西安电子科技大学数学科学系 冯海林 E-mail hlfeng@xidian.edu.cn 一.回归模型及其应用—线性回归模型 1.线性回归模型 回归参数的估计—最小二乘估计（约束最小二乘估计） 2.回归诊断 残差分析与影响分析；Box-Cox变换 3.假设检验与预测 回归方程与回归系数的检验；异常点检验；因变量预测 4.回归方程的选择 选择标准与逐步回归 5.非线性回归 可线性化的一元非线性回归 1.线性回归模型 线性统计（线性回归和方差分析）模型是现代统计学中应用最为广泛的模型之一，是其它统计模型研究或应用的基础． ●　现实中，许多变量之间具有线性或近似的线性关系． ●　现实中，虽然许多变量之间的关系是非线性的，但经 过适当变换，变换后的变量具有近似的线性关系． ●　线性关系是数学中最简单，最基本的一种关系，处理容 易且有成熟的理论与方法． 线性回归模型是处理变量之间线性相关关系的一种数学模型. 1.找出能够反映变量间真实关系的表达式 3.利用这样的关系进行预测　 2.对变量之间的关系进行分析　 回归模型的任务 一般，称Ｙ为因变量或响应变量，称Ｘ为自变量或预报变量． Ｙ＝f(X)+e 其中e为随机误差．并要求Ｅ(e)＝０ 特别，当f(X)是线性函数： 　　　　f(X) =β0+β1X　有如下模型：　 Ｙ =β0+ β 1X＋e　 称该模型为一元线性回归模型，或线性回归方程． 经验回归方程 一元线性回归模型 二元线性回归模型 Ｙ =β0+ β 1X1＋ β 2X2 ＋e　 注：β0， β 1 ，（β 2）是未知的，需要通过观测数据进行估 计． β 1，（ β 2）称为回归系数． 注：经验回归方程是否能真实反映变量之间的关系，是需要检验的． 多元线性回归模型 称之为多元线性回归模型 注：在实际中需要利用观测数据和适当的统计方法对未知参数 进行估计． 多元线性回归模型 多元线性回归模型 Gauss-Markov假设 多元线性回归模型 多元线性回归模型 经验回归方程 利用适当的统计方法，得到未知参数向量的估计值． 回归参数的估计—最小二乘估计（约束最小二乘估计） 多元线性回归模型—约束最小二乘估计 2.回归诊断 回归诊断的两个任务: 1.考察实际数据是否满足多元线性回归模型的　 　Gauss-Markov假设——残差分析 2.探察对估计或预测有异常大影响的数据——　 　Cook统计量 注：1.残差的大小反映了实际数据与理论模型拟合程度的好坏； 2.利用残差可以得到模型假设中误差方差 的无偏估计： 2.回归诊断__残差分析 2.回归诊断__残差分析 学生化残差： 一般，可近似认为　相互独立且服从标准正态分布.　则 可以证明拟合值与学生化残差相互独立. 以拟合值 为横轴，残差 为纵轴的图称为残差图. 注：还有其它的残差图，区别是横轴的表示的量不同 2.回归诊断__残差分析 大师傅　 回归诊断－学生化残差图 回归诊断－影响分析 在线性模型中剔除掉第i组数据后，利用剩余的n－１组数 据获得模型参数的最小二乘估计记为 回归诊断－影响分析 Cook统计量的大小度量了每组数据的影响的大小,对 每组数据,都可以有一个量来刻画它对回归系数估计 影响的大小.但是在实际中确定其临界值比较困难,可 通过实际问题进行比较. 对回归估计影响很大的数据,要进行必要的处理,如修正,或者剔除 回归诊断－Box-Cox变换 一般,如果残差图显示了误差方差不相等,则可采用一些方法 使得其模型方差近似相等.包括:因变量的变换,实际中效果 比较好的有Box-Cox变换. Box-Cox变换是对回归因变量Y的如下变换: 回归诊断－Box-Cox变换 确定 对因变量的n个观察值应用以上变换 确定 使得 可以利用极大似然估计的思想确定 为了在计算机上方便实现Box-Cox变换.需要计算 回归诊断－Box-Cox变换 3.假设检验与预测 回归系数的检验—t检验