第二章.ppt

第二章 一元线性回归模型 最小二乘法产生的历史 最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）——达尔文的表弟所创。 早年，道尔顿致力于化学和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。 最小二乘法的地位与作用 现在回归分析法已远非道尔顿的本意 已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。 后来，回归分析法从其方法的数学原理——残差平方和最小（平方乃二乘也）出发，改称为最小二乘法。 父亲们的身高与儿子们的身高之间关系的研究 1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录 企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式 下图是根据1078个家庭的调查所作的散点图（略图） “回归”一词的由来 从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下： 如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”——见1889年F.Gallton的论文《普用回归定律》。 后人将此种方法普遍用于寻找变量之间的规律 主要内容 一元线性回归模型 模型参数估计（最小二乘法） 样本判定系数与拟合优度检验 回归参数估计值的显著性检验 模型整体的显著性检验 一元线性回归模型预测 一. 一元线性回归模型的概念 1.回归模型 确定关系 （函数关系） 相关关系 (随机关系) 因果关系 随机项μ的构成 模型中省略的变量 随机因素 测量误差 确定数学模型形式的误差 2.线性回归模型 模型的基本形式 Y = β0+β1X1+β2X2+β3X3+………+βiXi+μi 基本假设 解释变量 Xi 是确定性变量，不是随机变量；解释变量之间互不相关； 随机误差项具有0均值和同方差； 随机误差项不存在序列相关关系； 随机误差项与解释变量之间不相关； 随机误差项服从0均值、同方差的正态分布。 3.一元线形回归模型 只含有一个解释变量的线形回归模型 满足基本假设： 1 E（μi）= 0 2 Var （μi） = σ2μ 3 Cov （μi，μJ）= 0 4 Cov （Xi，μi）= 0 i = 1，2，3，……,n ； j= 1，2，3，……,n i≠j 异方差 序列自相关 协方差 二. 一元线性回归模型的参数估计 总体回归线（函数） (1)散点图 变量Y与变量X的散点图 (2)回归线 (3)估计量（Estimator） 一个估计量又称统计量，是指一个规则、公式或方法，是用已知的样本所提供的信息去估计总体参数。 统计量是样本的函数，因为抽样是随机的，估计量具有随机性 对一次已经实现的抽样，估计量又是确定的。 在应用中，由具体样本算出的估计量的数值称为估计值。 2.最小二乘法的思路(1) 为了精确地描述Y与X之间的关系，必须使用这两个变量的每一对观察值（n组观察值），才不至于以点概面（做到全面）。 Y与X之间是否是直线关系（用协方差或相关系数判断）？若是，可用一条直线描述它们之间的关系。 在Y与X的散点图上画出直线的方法很多。 找出一条能够最好地描述Y与X（代表所有点）之间的直线。问题是：怎样算“最好”？ 最好指的是找一条直线使得所有这些点到该直线的纵向距离的和（平方和）最小。 最小二乘法的思路(2) 最小二乘法的思路(3) 纵向距离是度量实际值与拟合值是否相符的有效手段 点到直线的距离——点到直线的垂直线的长度。 横向距离——点沿（平行）X轴方向到直线的距离。 纵向距离——点沿（平行）Y轴方向到直线的距离。也就是实际观察点的Y坐标减去根据直线方程计算出来的Y的拟合值。 实际值-拟合值=残差（剩余） 最小二乘法的思路(4) 纵向距离是Y的实际值与拟合值之差，差异大拟合不好，差异小拟合好，所以称为残差、拟合误差或剩余。 将所有纵向距离平方后相加，即得误差平方和，“最好”直线就是使误差平方和最小的直线。拟合直线在总体上最接近实际观测点。 于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小的问题。 数学形式 最小二乘法的数学原理 纵向距离是Y的实际值与拟合值之差，差异大拟合不好，差异小拟合好，所以又称为拟合误差或残差。 将所有纵向距离平方后相加，即得误差平方和，“最好”直线就是使误差平方和最小的直线。 于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小。 数学推证过程 最小二乘估计量 最小二乘估计量的简化形式 统计学补充知识 总体矩 （1）总体k阶原点矩