一元线性回归模型与多元线性回归模型对比.docxVIP

一元线性回归模型

多元线性回归模型

总体回归函数

即

总体回归模型

(总体回归函数得随机表达形式)

即

样本回归模型

（样本回归函数得随机表达形式)

即

样本回归函数

即

给定一组容量为ｎ得样本则，上述式子可以写成:

给定一组容量为n得样本,

则上述式子可以写成:

总体回归函数

总体回归模型

样本回归模型

样本回归函数

样本回归函数得离差形式

解释变量得个数（包括常数项)

２个:C,Ｘ

k+１个：C,

基本假定

假设1:

回归模型就是正确设定得。

模型设定正确假设。

假设2:

确定性假设。解释变量X就是确定性变量，不就是随机变量,在重复抽样中取固定值。:

确定性假设。解释变量就是非随机或固定得,且各之间不存在严格线性相关(无完全多重共线性)。

假设3：

样本变异性假设。对解释变量X抽取得样本观察值并不完全相同。

样本方差趋于常数假设。

①样本变异性假设。

各解释变量在所抽取得样本中具有变异性。

样本方差趋于常数假设。

随着样本容量得无限增加,各解释变量得样本方差区域一个非零得有限常数。

假设4:

随机误差项μ零均值、同方差、不序列相关假设。

随机误差项μ零均值、同方差、不序列相关假设。

假设5:

随机误差项与解释变量不相关。

随机误差项与解释变量不相关。

假设：6:

正态性假设。随机项服从正态分布。

正态性假设。随机项服从正态分布。

参数估计

一元线性回归模型

多元线性回归模型

普通最小二乘估计(OLS)

残差平方与达到最小,得到正规方程组,求得参数得普通最小二乘估计值:

(普通最小二乘估计得离差形式)

随机干扰项得方差得估计量

残差平方与达到最小,得到正规方程组,求得参数得普通最小二乘估计值

(普通最小二乘估计得离差形式)

随机干扰项得方差

最大似然估计(ML)

矩估计(MM)

参数估计值估计结果与ＯLS方法一致，但随机干扰项得方差得估计量与OLS不同

参数估计值估计结果与ＯLS方法一致,但随机干扰项得方差得估计量

参数估计量得性质

线性性、无偏性、有效性

线性性、无偏性、有效性

参数估计量得概率分布

---

样本容量问题

---－

样本容量n必须不少于模型中解释变量得个数(包括常数项),即才能得到参数估计值，时t分布才比较稳定,能够进行变量得显著性检验，一般认为活着至少时才能满足模型估计要求。如果样本量过小,则只依靠样本信息就是无法完成估计得,需要用其她方法去估计。

统计检验

一元线性回归模型

多元线性回归模型

拟合优度检验

总离差平方与得分解

ＴSＳ=ESS＋ＲSS

，越接近于１,拟合优度越高。

总离差平方与得分解

TSS=ESS＋ＲSＳ

,(即总平方与中回归平方与得比例）

对于同一个模型，越接近于1,拟合优度越高。

(调整得思路就是残差平方与RSS与总平方与TＳS各自除以它们得自由度）

为什么要对进行调整?解释变量个数越多,它们对Y所能解释得部分越大(即回归平方与部分越大）,残差平方与部分越小,越高，由增加解释变量引起得得增大与拟合好坏无关,因此在多元回归模型之间比较拟合优度,就不就是一个合适得指标,必须加以调整。

方程总体显著性检验

------

目得:对模型中被解释变量与解释变量之间得线性关系在总体上就是否成立做出判断。

原假设H

备择假设:H

统计量得构造:F=

判断步骤：①计算F统计量得值

②给定显著性水平α，查F分布得临界值表获得

Fα

比较F与Fα得值

若FFα，拒绝原假设,认为原方程总体线性关系在

若F≤Fα,接受原假设，不能认为原方程总体线性关系在1-α

变量得显著性检验

目得:对模型中被解释变量对每一个解释变量之间得线性关系就是否成立作出判断,或者说考察所选择得解释变量对被解释变量就是否有显著得线性影响。针对某解释变量Xj

原假设:H0:β

最常用得检验方法:t检验

构造统计量:t=

判断步骤:①计算t统计量得值

②给定显著性水平α,查t分布得临界值表获得

tα

③比较t值与tα2得

若ttα2，拒绝原假设,认为变量Xj在1-α得置信水平下通过显著性检验(或者说,在α得显著性水平下通过检验

若t≤tα2，接受原假设，在显著性水平α

参数得置信区间

目得:考察一次抽样中样本参数得估价值βj与总体参数得真实值βj

思路：构造一个以样本参数得估计值βj为中心得区间，考察它以多大得概率包含总体参数得

方法:①预先选择一个概率α（0α1），

②计算其中得δ(δ=tα2×Sβj),

掌握概念：置信区间置信度显著性水平

实际应用中,我们希望置信度越高越好,置信区间越小越好(说明估计精度越高)。

如何缩小置信区间?

（1)增大样本容量n(以减小tα2,并减小参数估计值得样本方差

(2）提高模型得拟合优度(以减小残差平方与,从而减小Sβ

(3)提高样本观测值得分散度