第5章 1元线性回归预测技术.ppt

经济预测与决策 重庆交通大学管理学院 第五章 一元线性回归预测技术 §5.1一元线性回归模型 §5.3一元线性回归模型的参数估计 最小二乘估计 §5.4一元线性回归模型的显著性检验 §5.5一元线性回归模型的应用 回归一词的来源 回归一词最先由F.高尔顿(Francis Galton)引入。 在一篇著名的论文中，高尔顿发现，虽然有一个趋势，父母高，儿女也高；父母矮，儿女也矮，但给定父母的身高，儿女辈的平均身高却趋向于或者“回归”到全体人口的平均身高。 统计学家皮尔逊曾收集过一些家庭群体的1千多名成员的身高记录后发现，对于一个父亲高的群体,儿辈的平均身高低于他们父辈的身高，而对于一个父亲矮的群体，儿辈的平均身高则高于其父辈的身高。这样就把高的和矮的儿辈一同“回归”到所有男子的平均身高。用高尔顿的话说，这是“回归到中等。 回归的现代含义 回归是研究一个因变量如何随一个或多个自变量的变化而变化，目的是通过自变量的已知值或设定值预测或解释因变量的值。 回归模型的分类 1一元线性回归模型 2多元线性回归模型 3一元非线性回归模型 4多元非线性回归模型 5单方程模型和联立方程 6定量变量和定性变量 5.1一元线性回归模型 一、一元线性回归的数学模型 y＝a+bx 对于每一组数值(xi,yi),一般不会恰好在该直线上，因此实际值和预测之间有误差，所以一般有 yi＝a+bxi+ei 二、如何才能知道是否可以使用一元线性回归模型： 1、经济理论: 2、数据分布（散点图） 3、最简单的模型 1、经济理论: 如利润y与销售量x之间有 y=px-(a+bx)=-a+(p-a)x 2、数据分布（散点图） 3、最简单的模型 例：著名的凯恩斯的消费理论： 通常人们的消费支出随收入的增加而增加，但消费支出的增加小于收入的增加。即边际消费倾向MPC大于零而小于1。 假定消费支出Y与收入X之间有如下关系： 检验 三、一元线性回归模型的基本假设 yi＝a+bxi+ei 假定1：干扰项的均值为零，即E(ei)=0 假定2：同方差性或ei的方差相等，即D(ei)=Var(ei)= ?2 假定3：各个干扰项无自相关，即Cov(ei, ej)=0 假定4：xi和ei的协方差为零,即Cov(xi , ei ) = 0 假定5： ei服从正态分布，即ei～N(0, ?] 于是E[yi]=a+bxi， yi～N(a+bxi, ?] §5.3一元线性回归模型的参数估计 ——最小二乘估计 一、最小二乘法的原理 目的：找一个最好的预测模型 最好：误差最小、误差的平方和最小 参数估计：最小值(极小值)的必要条件，偏导数为零得到方程组，解出未知参数。 参数估计的其它方法： 矩估计法，极大似然法，贝叶斯估计法等 二、最小二乘法 设已知n组数据（x1,y1),( x2,y2）… （xn,yn), 模型： 误差ui= 误差的平方和 由 求得 参数估计 正规方程 例(P63) §5.4一元线性回归模型的显著性检验 1.可决系数 2.相关系数 3.回归系数的显著性检验:t检验 4.回归方程的显著性检验:F检验 1.可决系数r2：是反映拟合优度的数量指标 所谓拟合优度是指由回归直线拟合统计数据的优劣程度。 由推证可得： 可决系数公式 在预测实践中，r2常用于模型的比较，人们往往采纳r2最高的模型，这是因为r2高，就意味着该模型把y的变动解释得好。 实际上，有一个更为简捷的可决系数的计算公式： 2 、相关系数r 相关系数r:是另一个被广泛用来测定拟合优度的指标；是描述变量x与y之间线性相关关系密切程度的一个数量指标。 它的计算公式为： 相关系数检验法的步骤如下： （1）根据相关系数的计算公式计算相关系数r。 （2）给定显著性水平?，根据?和n-2的值，从相关系数临界值表中查出相关系数临界值r?，n-2。 （3）比较与的值，若 ? r ? ? r?，n-2，表明两变量之间线性关系在显著性水平?时相关关系显著；否则 ? r ? ? r?，n-2，表明两变量之间线性关系在显著性水平?时相关关系不显著，该模型不宜用来预测。 相关系数与回归系数的关系 相关系数与回归系数的关系 三.回归方程的显著性检验 F检验 F=U/[Q/(n-2)]服从自由度为1和n-2的F分布 三.回归方程的显著性检验 三、回归方程的的显著性检验：F 检验 从方差分析（analysis of variance, ANOVA)的角度，检验回归方程的显