工程统计学5多元线性回归分析.ppt

Sigma的无偏估计值 总离差平方和，回归平方和，残差平方和的分布 对于给定的显著水平，可得 对于一次抽样后计算得F的数值，若 即认为多元线性回归显著。 p-value 在现代统计中，显著性检验问题一般不通过查表求其临界值，进行判断；而是通过P值（p-value）来考察检验的显著性。 一个检验统计量的P值是当H0成立时，检验统计量取其观测值即更有利于备择假设H1的值的概率。 具体地说，设检验统计量为T，通过样本求得其观测值为T0，若大的T值意味着拒绝H0（或等价地有利于接受H1 ），则其P值为PH0 （T= T0 ）；反之，若小的T值有利于接受H1 ，则其P值为PH0 （T= T0 ）；若绝对值大的T值有利于接受H1 ，则其P值为PH0 （∣T∣= T0 ）的概率。 p-value 有了P值后，对于给定的显著水平α，任何检验准则均为 回归系数的显著性检验 残差分析的必要性 拟合前的假设： 回归函数的线性假设 误差的正态性、同方差性等 这些假设可能不适合所有数据 拟合后： 必须对模型作必要的修正或者对数据作某些处理 残差分析 残差分析在一定程度上可以回答： 回归函数的线性假设的可行性； 误差项εi的等方差假设的合理性； 误差项εi的正态假设的可行性； 观测数据中是否有异常数据值； 是否在收集数据或模型拟合中遗漏了某些重要的自变量； 误差项的正态性假设 1、残差正态性的频率检验 2、残差正态概率图检验，即Q-Q图，直线表示有较好的正态性 残差正态性的频率检验 基本思想：将残差落在某范围的频率与正态分布在该范围的概率（或称为理论频率）相比较，通过二者之间偏差的大小评定残差的正态性。 残差正态性的频率检验 残差正态性的频率检验 t值落在区间（-1，1）、 （-2，2）和（-3，3）的概率分别接近0.683、0.954、0.9973，则随机变量的分布与正态分布无较大的差异。 残差正态概率图检验 残差正态概率图检验，即Q-Q图，直线表示有较好的正态性 如果检验认为误差的正态性假定不合理 ，常需对数据作变换，如对数变换，幂函数变换等；更一般地用BOX-COX变换，然后用变换后的数据拟合线性回归模型，再用上述方法考察误差正态性假设的合理性 残差图分析 残差图是以残差纵坐标，以任何其它指定的量为横坐标的散点图。主要包括： 横坐标为观测时间或观测值序号； 横坐标为Y的拟合值 横坐标为某个自变量 通过残差图可以对误差的等方差性及回归函数中是否包含其它的自变量及自变量的高次项交叉乘积项等给出直观的检验 残差图分析 常用的残差图： 1、时序残差图 2、以拟合值为横坐标的残差图 3、以自变量为横坐标的残差图 最优回归方程的选取与系统建模 为获得较全面的信息，总希望模型中包含尽可能多的自变量； 自变量多，计算量大，不利于利用拟合的模型对实际问题作解释。 这两方面折衷就是最优回归方程的选取 穷举法 逐步回归法 最优回归方程的选取--穷举法 穷举法：从所有可能的回归方程中按一定准则选取最优的一个或几个。 1、复相关系数准则 在一个包含p-1个自变量的线性回归模型中（在模型中有p个参数） 上海交大 工业工程与物流工程系 苗瑞 miaorui@sjtu.edu.cn 主要内容 多元线性回归模型的建立 多元线性回归模型的估计 多元线性回归模型的检验 多元线性回归模型的应用 本 讲 目 标 掌握多元回归模型的基本理论 掌握多元回归模型的估计方法 掌握多元回归模型的检验方法 了解多元回归模型的预测 学会用Minitab建立模型 多元线性回归分析 多元回归研究的是随机变量y与多个变量x1,x2,…,xp(p≥2)的相关关系，这里仅讨论多元线性回归模型： 多元线性回归模型： 何为多元线性？ 多元线性回归分析 多元线性回归分析 多元线性回归分析 问题1：估计B 和 SIGMA 问题2：预测，包括点估计和区间估计 多元线性回归分析 多元线性回归分析 设 是一个样本，和一元线性回归的情况一样，可用最小二乘法估计参数，令 取Q分别关于 的偏导数，并令它们等于零得： 多元线性回归分析 多元线性回归分析 将上式简化得——正规方程组 多元线性回归分析 正规方程组的等号右边可改写为： 多元线性回归分析 上式称为正规方程组的矩阵形式，假设 存在，则上式的解 即为未知参数（b0,b1,…,bp）的估计—经验回归系数。于是经验回归平面方程： 多元线性回归分析 参数估计 的一些统计性质： 由于每个 均是 的线性组合，由于