多元线性回归和非线性回归.ppt

多元线性回归 多元线性回归模型 (multiple linear regression model) 一个因变量与两个及两个以上自变量的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xp 和误差项 ? 的方程，称为多元回归模型 涉及 p 个自变量的多元回归模型可表示为 多元线性回归模型(基本假定) 1. 解释变量x1，x2，…，xp是确定性变量．不是随机变量，且要求样本容量的个数应大于解释变量的个数。 2. 误差项ε是一个期望值为0的随机变量，即E(?)=0 3. 对于自变量x1，x2，…，xp的所有值，?的方差? 2都相同 4.误差项ε是一个服从正态分布的随机变量，即ε~N(0,?2)，且相互独立 多元线性回归方程 (multiple linear regression equation) 描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，…，xp的方程 多元线性回归方程的形式为 E( y ) = ?0+ ?1 x1 + ?2 x2 +…+ ?k xp 二元线性回归方程 二元线性回归方程的直观解释 回归参数的估计 估计的多元线性回归的方程(estimated multiple linear regression equation) 用样本统计量 估计回归方程中的 参数 时得到的方程 由最小二乘法求得 一般形式为 参数的最小二乘法 参数的最小二乘法(例题分析) 参数的最小二乘法 需要注意的是，这一回归方程并不理想，回归系数的意义不好解释，这里只是作为多元线性回归参数估计的一例，后边我们还要进一步完善这一模型的建立 一、多重样本决定系数(multiple coefficient of determination) 估计标准误差 Sy 对误差项?的标准差? 的一个估计值 衡量多元回归方程的拟合优度 计算公式为 线性关系检验（回归方程显著性检验） 检验因变量与所有自变量之间的线性关系是否显著 也被称为总体的显著性检验 检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 线性关系检验 提出假设 H0：?1??2????p=0 线性关系不显著 H1：?1，?2，? ?p至少有一个不等于0 回归系数显著性检验 线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验 对每一个自变量都要单独进行检验 应用 t 检验统计量 回归系数的检验(步骤) 提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi ? 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t 回归系数的推断 (置信区间) ?回归系数在(1-?)%置信水平下的置信区间为 例1 spss计算出的 和P值 结果发现： 并不是所有的自变量单独对因变量都有显著性影响，最大的P值为0.926＞0.05，在取显著性水平a＝0.05时通不过显著性检验。 这个例子说明： 尽管回归方程通过了显著性检验，但也会出现某些单个自变量（甚至每一个）对因变量并不显著的情况。 由于某些自变量不显著，因而在多元回归中并不是包含在回归方程中的自变量越多越好。 在此介绍一种剔除多余自变量的方法：逐步回归法 剔除x6工交部门事业费 后： 依次剔除，最终只保留x1,x2,x4,x8,x10,x11,x12,x13, 其回归系数见下表： 多元线性回归分析操作 (一)基本操作步骤 (1)菜单选项: analyze-regression-linear… (2)选择一个变量为因变量进入dependent框 (3)选择一个或多个变量为自变量进入independent框 (4)选择多元回归分析的自变量筛选方法: enter:所选变量全部进入回归方程(默认方法) remove:从回归方程中剔除变量 stepwise:逐步筛选；backward:向后筛选；forward:向前筛选 (5)对样本进行筛选(selection variable) 利用满足一定条件的样本数据进行回归分析 (6)指定作图时各数据点的标志变量(case labels) 多元线性回归分析操作 (二) statistics选