多元线性回归分析常用结论汇总.pdf

回归分析研究的问题通常具有以下共同点： 人们所关心的某个数量(因变量)受另一个或几个数量(自变 量)的影响，这种影响通常只是关联性(而非因果性)的，并且这 种关联性还受众多随机因素的干扰，难以用机理分析方法找出 它们之间的关系。回归分析是描述这些变量之间关系的最为合 适的数学模型。 在本讲义中，如果没有做特殊说明，用 表示因变量，用 表示自变量。 用回归分析解决这类问题大致的方法和步骤如下： (1)收集一组包含因变量和自变量的数据； (2)设定模型，利用数据按照某种准则计算模型中的系数； (3)利用统计方法对不同的模型进行比较，找出与数据拟合得 最好的模型； (4)判断得到的模型是否适合于这组数据； (5)利用模型对因变量做出预测或解释。 设有一个因变量 和 个自变量 的 组观测数据, 和 之间的关系可用如下的线性模型描述:   其中 为常数,称为回归系数, 为随机误差, 不包含任 何已含于 中的有关 的系统信息. 上述模型的每一组观测可写成  以上模型被称多元线性回归模型,而一元线性回归可以看成 时的特例,从而一元线性回归的结论都可以从多元线性回归的结 论得到. 线性指的是 是 的线性表达式. 多元线性回归模型的基本假设有： (1) 是确定性变量， 是随机变量； (2) 是相互独立的随机误差序列； (4)随机误差项具有0均值和同方差； (3) . 一、回归系数的最小二乘估计 在这里用矩阵符号来表示多元线性回归模型,记  则上述模型可表示为   一、回归系数的最小二乘估计 假设模型的参数估计值已经得到,则 ( 是拟合值序列), 那么,因变量的观测值与拟合值之差(即残差)的平方和为 ， 根据最小二乘原理,参数估计值应该是以下方程组  的解,假定 可逆(要求 ),则上述方程组的解,也就是 的最小二乘 估计为  一、回归系数的最小二乘估计 (1) 是 的无偏估计,即 ,并且在 所有的无偏估计量中, 具有最小的方差,所以称 为参数 的“最优无偏估计”; (2) 服从均值为 方差为 的正态分布; (3) . 二、回归模型的统计分析 (1)随机误差项的方差 的估计 利用回归系数的估计 ,对每组观测值,可计算  它们称为拟合值,相应的最小二乘残差值为