2007统计学第12章.docVIP

PAGE  PAGE 9 第十二章 多元线性回归 § 1多元线性回归模型 简单线性回归分析研究的是一个随机变量与一个变量之间的统计线性相关关系，而多元线性回归则是研究一个随机变量与多个变量之间的统计线性相关关系. 设我们对于的取定的n组不完全相同的值作独立试验得到n组观察结果 , 其中yi是在处对随机变量y的观察结果.我们称这n组结果为一个容量为n的样本. 多元线性回归模型及其基本理论假定 一个随机变量y关于一组(确定型)变量的(多元)线性回归模型有两种表现形式. 总体回归模型: ～ 样本回归模型: ～, 模型中, 被称为回归参数,其值要通过样本数据进行估计.如果的估计值为,则我们称 为y关于的线性回归方程,. 为y在x (向量)的回归值.在二元线性回归的情形，y关于的线性回归方程的几何解释有如下图。 多元线性回归模型的基本假设包括: 零均值与同方差假定，即 ； 随机误差相互独立假定，即 ； 随机误差服从正态分布，即 ～, . 自变量无多重共线性假定,即任何一个自变量与其他自变量不能存在线性相关关系. 多元线性回归的样本模型也可以写成下面的矩阵形式: 或简记为 . 回归参数的最小二乘估计 与简单线性回归参数的最小二乘估计类似,记 . 回归参数的最小二乘估计就是要寻找使 . 称为的最小二乘估计. 由多元函数极值存在的必要条件知,要使Q取最小值,则须满足 上面的方程组称为正规方程组.解之,即得的最小二乘估计: , 其中. §2 的估计与回归方程（参数）的显著性检验 在多元线性回归中,总离差平方和,残差平方和和回归平方和的定义与在简单线性回归中相同,不过,自由度有所改变. 总离差平方和 ,自由度为n-1; 残差平方和 自由度为n-p-1; 回归平方和 自由度为p. 并且, . ( 因为 ). 可以证明, 是的无偏估计量, 即 . 所以 . 一、拟合优度检验 对多元线性回归,定义复可决系数（样本决定系数） 用以描述线性回归的拟合程度.显然 ,的值越接近1,线性拟合程度越高; 的值越接近0,线性拟合程度越低.这就是所谓拟合优度检验. 为排除自变量个数对拟合优度检验的影响,人们又引进了修正复可决系数,其定义为 . 用修正复可决系数进行拟合优度检验的方法与利用复可决系数进行拟合优度检验相同. 二、F检验 F检验是要检验总体回归方程是否显著,即检验随机变量y是否与整个这组变量存在线性相关关系(可以与其中的某个变量无关).所以F检验的假设是 H0: , H1: 不全为0,. 可以证明, 若H0为真,则 ～, ～, 且相互独立,所以 ～. 故对显著性水平, H0的拒绝域取为. !!!!! 即当时,认为y与的线性相关关系显著;否则,认为不显著. 对回归方程的具体检验可在如下形式的方差分析表上进行. 误差来源自由度平方和均方和F回归 残差p n-p-1SR SESR/p SE/(n-p-1)(SR/p)÷(SE/(n-p-1))总和n-1ST 三、t-检验 t检验是要检验y是否与某个变量xj存在线性相关关系.所以,t检验的假设为: 对某个k, H0: , H1: . 具体检验步骤为: (1) 计算统计量 的值. 其中 是矩阵 中的第k+1行k+1列元素. 判断. 对显著性水平,当时,拒绝H0,即认为y与的线性相关关系显著,模型中应保留变量; 当时,接受H0,即认为y与的线性相关关系不显著,可以考虑将变量从模型中剔除. 注：实际应用中，有多种统计软件，如EXCEL,TSP, SPSS等可进行多元线性回归。 §3 多元线性回归的预测 点预测. 对于给定的y0的点预测值为 其中, . 区间预测. 当时, y0的置信度为的预测区间为 例12-1 不良贷款原因分析  HYPERLINK 回归分析.xls 回归分析.xls (sheet 2) 例 财政收入回归模型  HYPERLINK 财政收入模型.xls 财政收入模型.xls §4 线性回归模型的适宜性评价 对于线性回归模型理论假设的检验称为线性回归模型的适宜性评价.如果实际情况违背线性回归模型理论假设，则估计所得的回归模型的参数的准确性就会很差。 本节只简单地介绍违背线性回归模型理论假设的各种情形并相应的模型修正方法。 非线性性 解释变量与被解释变量间不存在线性关系。 修正方法： 1）进行非线性回归； 2）利用变量转换达到使数据线性化之目的。 异方差性 对某些. 修正方法： 1）通过变量转换消除异方差性； 2）加权最小二乘法。 三、序列相关性