03第三章 回归分析预测法.ppt

第三章 回归分析预测法 讲授内容: 第一节 一元线性回归分析预测法 第二节 多元线性回归分析预测法 第三节 非线性回归分析预测法 第四节 进行回归分析预测时应注意的问题 第五节 多元回归分析预测案例 思考与练习 引例 美国麻省理工学院气象学家爱德华?罗伦兹为了预报天气，他用计算机求解仿真地球大气的13个方程式。1963年的一次试验中，为了更细致地考察结果，他把一个中间解0.506取出，提高精度到0.506127再送回。而当他到咖啡馆喝了杯咖啡以后回来再看时竟大吃一惊：本来很小的差异，结果却偏离了十万八千里！再次验算发现计算机并没有毛病，罗伦兹发现，由于误差会以指数形式增长，在这种情况下，一个微小的误差随着不断推移造成了巨大的后果。他于是认定这为：“对初始值的极端不稳定性”，即：“混沌 ”，又称“蝴蝶效应”，亚洲蝴蝶拍拍翅膀，将使美洲几个月后出现比狂风还厉害的龙卷风！ 其原因在于：蝴蝶翅膀的运动，导致其身边的空气系统发生变化，并引起微弱气流的产生，而微弱气流的产生又会引起它四周空气或其他系统产生相应的变化，由此引起连锁反应，最终导致其他系统的极大变化。 回归分析（Regression Analysis）：是指通过利用数学模型来研究一个变量对另一个或者多个变量的依赖关系，从而通过后者的已知值来估计或预测前者的总体均值或个别值的方法。 回归分析按照自变量的个数，可以分为（1）一元回归：两个变量之间的回归分析（2）多元回归：三个或三个以上变量之间的关系。 回归分析按照因变量和自变量之间具体的变动形式可以分为线性回归和非线性回归。 一、一元线性回归模型的建立 （一）一元线性总体回归模型 i=1,2,…,n (3.1) 式（3.1）称为一元线性总体回归模型。其中，X为自变量（解释变量），并假定它是可控制的、无测量误差的非随机变量；Y为因变量（被解释变量），是随机变量；u为随机误差（干扰）项，是一个随机变量，可用来代表所有未在模型中考虑的、作用可以相互抵消的随机因素的影响； 和 是未知却固定的总体参数，称为回归参数，也分别被称为截距和斜率。 一、一元线性回归模型的建立 （二）随机误差项的意义和标准假定 随机误差项u是无法直接观测的，为了进行回归分析，通常设其满足以下标准假定： 古典线性回归模型（classical linear regression model,CLRM）基本假定： 1. 零均值假定： 的期望为0，即： i=1,2,…,n 2. 同方差假定： 的方差为一常数，即： i=1,2,…,n 一、一元线性回归模型的建立 3. 非自相关假定： 与 相互独立，即： i≠j; i,j=1,2,…,n 4.随机误差项 与自变量 不相关，即： i,j=1,2,…,n 5. （i=1,2,…,n）服从正态分布。 一、一元线性回归模型的建立 （三）样本回归模型 样本回归模型： i=1,2,…,n (3.2) 式中 , 和 是根据所获得的一个样本对总体回归参数 ， 和 的估计，n为该样本的容量， 被称为残差。 对于给定的一个样本，总体回归模型式（3.1）的近似估计为： (3.3) 式（3.3）称为样本回归方程，又称为经验方程， 为 的估计。 二、一元线性回归模型参数的估计 用样本的所有残差的平方和来综合反映残差的总量大小就显得更为合适，这种方法称为最小二乘法（OLS）：所选择的回归模型应该使所有观测值的残差平方