.一元线性回归的参数估计.doc

第五章 回归分析 “回归”一词的由来 1889年，英国著名统计学家Francils Galton在研究父代与子代身高之间的关系时发现：身材较高的父母，他们的孩子也较高，但这些孩子的平均身高并没有他们父母的平均身高高；身材较矮的父母，他们的孩子也较矮，但这些孩子的平均身高却比他们父母的平均身高高。 Galton把这种后代的身高向中间值靠近的趋势称为“回归现象”。后来，人们把由一个变量的变化去推测另一个变量的变化的方法称为“回归方法”。 回归分析的基本概念 1. 函数关系和统计相关关系 在一个实际问题中会遇到多个变量，可将其区分为自变量和因变量. 自变量和因变量之间的关系又可分为两类：函数关系和统计相关关系. 函数关系：自变量的取值确定后，因变量的值就完全确定. 如圆的半径与圆的面积就构成函数关系. 统计相关关系：自变量的取值确定后，因变量的值并不完全确定；通过大量的统计数据又可发现它们之间确实存在着某种关系，这时称自变量与因变量之间构成统计相关关系. 如 （1）商品定价与该商品的销售量； （2）日期与某地的日平均气温； （3）父母身高与儿子成年后的身高； 上述自变量与相应因变量之间都构成统计相关关系. 2. 回归分析 回归分析（Regression Analysis）（Linear Regression）（Nonlinear Regression）（Simple Regression）（Multiple Regression）是一元可控变量，是依赖于的随机变量，二者具有相关关系，通常称为自变量或预报变量；为因变量或响应变量. 设想的值由两部分组成：一部分是由能够决定的，记为；另一部分是由其它未加考虑的因素（包括随机因素）所产生的影响，看作随机误差，记为，且有理由要求. 故有 （5.1-1） 称(5.1-1)式为对的一元回归模型，为回归函数；其中，称为回归方程. ②一元线性回归模型： 若进一步假定回归函数为，且存在，则有 (5.1-2) 称(5.1-2)式为对的一元线性回归模型，其中均为未知参数，称为回归系数，而，此时回归方程是线性方程，称为回归直线. ③一元正态线性回归模型： 应用中，为对回归方程的合理性进行检验，还假定，于是模型（5.1-2）化为 (5.1-3) 称(5.1-3)式为对的一元正态线性回归模型，此时. 为研究与之间的内在关系，在的点上，做次独立试验，得到，于是有点. 画出散点图，如果这个点（很大时）分布在一条直线附近，直观上就可认为与的关系具有(5.1-3)式的模型。 将视为的子样值，模型(5.1-3)又化为 (5.1-4) 显然此时有，且当时相互独立. 由求出回归系数的估计值后得到直线方程，称为经验回归直线. 图1，图2 （2）一元线性回归的主要问题 ①对未知参数的估计； ②对参数及回归模型的假设检验； ③对因变量的预测。 对未知参数的估计 ①的最小二乘估计 已知与试验值 ，构造的试验值与理论回归值的离差平方和 （5.1-5） 以使取得最小值的为的估计值，称之为最小二乘估计. 为此，令 于是有关于的线性方程组 （5.1-6） （5.1-6）式的解是由容量为的子样值得到的，只在这个点处的试验值与理论回归值的离差平方和最小，因此，解不是的真值，只是估计值。故有 （5.1-7） 其中,,,. （5.1-7）式称为正规方程组. 解得 （5.1-8） （5.1-8）式中的称为未知参数的最小二乘估计。 于是经验回归直线，即：经验回归直线恒过点. ②的矩估计 ，，则可用的子样均值去估计其母体均值，即有. 但，其中未知，以其最小二乘估计代替，于是的矩估计为 （5.1-9） 其中称为残差平方和。将（5.1-8）式中的代入，得 （5.1-10） 于是 （5.1-11） ③估计量的另一组表达式 记，，，则（5.1-8）（5.1-10）（5.1-11）式分别化为 （5.1-8’） （5.1-10’） （5.1-11’） 未知参数估计量的分布 对于一元正态线性回归模型（5.1-4）有 定理5.1.1：①. 即（5.1-8’）式中的估计量分别是的无偏估计. ②. 定理5.1.2：①，且分别与相互独立。（说明：二次型中的满足正规方程组（5.1-7），即有2个独立的线性约束条件，故自由度是）。 ②，从而，即矩估计只是的一个渐近无偏估计. 为纠偏，令，则，即是的一个无偏估计. 定理5.1.3：