工程统计学 教学课件 作者 苗瑞 蒋祖华 5多元线性回归分析.ppt

利用CP准则法选择最优回归方程 对每个可能的回归方程，计算其CP 选择回归方程CP等于或接近p的回归方程为最优回归方程 预报平方和（PREdiction Sun of Squares）准则---PRESSp准则 对于给定的p个自变量，在数据中删除第i组观测值后利用剩余的n-1组观测值拟合线性模型，并利用拟合的回归方程对Y作预测， 利用实际值和预报值的平方和最小，来选择最优回归方程 逐步回归法 与穷举法相比，计算量小，能得到一个较合理的“最优”回归方程； 该法最终只提供一个“最优”回归方程，无其他选择余地； 逐步回归法 逐步回归法的基本步骤：依次拟合一系列回归方程，后一个回归方程是在前一个的基础上增加或减少一个自变量，其增加或减少某个自变量的准则是用残差平方和的增加或减少量来衡量。 使用F检验统计量 有由正规方程表达的p+1个约束，因此，其自由度为n-p-1 Sigma的无偏估计值 总离差平方和，回归平方和，残差平方和的分布 对于给定的显著水平，可得 对于一次抽样后计算得F的数值，若 即认为多元线性回归显著。 p-value 在现代统计中，显著性检验问题一般不通过查表求其临界值，进行判断；而是通过P值（p-value）来考察检验的显著性。 一个检验统计量的P值是当H0成立时，检验统计量取其观测值即更有利于备择假设H1的值的概率。 具体地说，设检验统计量为T，通过样本求得其观测值为T0，若大的T值意味着拒绝H0（或等价地有利于接受H1 ），则其P值为PH0 （T= T0 ）；反之，若小的T值有利于接受H1 ，则其P值为PH0 （T= T0 ）；若绝对值大的T值有利于接受H1 ，则其P值为PH0 （∣T∣= T0 ）的概率。 p-value 有了P值后，对于给定的显著水平α，任何检验准则均为 回归系数的显著性检验 残差分析的必要性 拟合前的假设： 回归函数的线性假设 误差的正态性、同方差性等 这些假设可能不适合所有数据 拟合后： 必须对模型作必要的修正或者对数据作某些处理 残差分析 残差分析在一定程度上可以回答： 回归函数的线性假设的可行性； 误差项εi的等方差假设的合理性； 误差项εi的正态假设的可行性； 观测数据中是否有异常数据值； 是否在收集数据或模型拟合中遗漏了某些重要的自变量； 误差项的正态性假设 1、残差正态性的频率检验 2、残差正态概率图检验，即Q-Q图，直线表示有较好的正态性 残差正态性的频率检验 基本思想：将残差落在某范围的频率与正态分布在该范围的概率（或称为理论频率）相比较，通过二者之间偏差的大小评定残差的正态性。 残差正态性的频率检验 残差正态性的频率检验 t值落在区间（-1，1）、 （-2，2）和（-3，3）的概率分别接近0.683、0.954、0.9973，则随机变量的分布与正态分布无较大的差异。 残差正态概率图检验 残差正态概率图检验，即Q-Q图，直线表示有较好的正态性 如果检验认为误差的正态性假定不合理 ，常需对数据作变换，如对数变换，幂函数变换等；更一般地用BOX-COX变换，然后用变换后的数据拟合线性回归模型，再用上述方法考察误差正态性假设的合理性 残差图分析 残差图是以残差纵坐标，以任何其它指定的量为横坐标的散点图。主要包括： 横坐标为观测时间或观测值序号； 横坐标为Y的拟合值 横坐标为某个自变量 通过残差图可以对误差的等方差性及回归函数中是否包含其它的自变量及自变量的高次项交叉乘积项等给出直观的检验 残差图分析 常用的残差图： 1、时序残差图 2、以拟合值为横坐标的残差图 3、以自变量为横坐标的残差图 最优回归方程的选取与系统建模 为获得较全面的信息，总希望模型中包含尽可能多的自变量； 自变量多，计算量大，不利于利用拟合的模型对实际问题作解释。 这两方面折衷就是最优回归方程的选取 穷举法 逐步回归法 最优回归方程的选取--穷举法 穷举法：从所有可能的回归方程中按一定准则选取最优的一个或几个。 1、复相关系数准则 在一个包含p-1个自变量的线性回归模型中（在模型中有p个参数） 穷举法1--复相关系数准则 穷举法1--复相关系数准则 穷举法1--复相关系数准则 穷举法2—修正的复相关系数准则 穷举法2—修正的复相关系数准则 穷举法3— CP准则法 C.L.Mallows提出CP准则： 穷举法3— CP准则法 上海交大 工业工程与物流工程系 苗瑞 miaorui@sjtu.edu.cn 多元回归分析 miaorui@sjtu.edu.cn mob.tel: 苗瑞、博士、副教授 上海交通大学 工业工程与物流工程系 主要内容 多元线性回归模型的建立 多元线性回归模型的估计 多元线性回归模型的检验 多元线性回归模型的应