第二章 回归分析基本方法.ppt

第二章 回归分析的基本方法 回归分析概述 线性回归模型及假定 线性回归模型的参数估计 §2.1 回归分析概述 （1）确定性关系或函数关系：研究的是确定现象非随机变量间的关系。 （2）统计依赖或相关关系：研究的是非确定现象随机变量间的关系。 对变量间统计依赖关系的考察主要是通过相关分析(correlation analysis)或回归分析(regression analysis)来完成的： ①不线性相关并不意味着不相关； ②有相关关系并不意味着一定有因果关系； ③回归分析/相关分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。 ④相关分析对称地对待任何（两个）变量，两个变量都被看作是随机的。回归分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。 回归分析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。 其用意：在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。 这里：前一个变量被称为被解释变量（Explained Variable）或应变量（Dependent Variable），后一个（些）变量被称为解释变量（Explanatory Variable）或自变量（Independent Variable）。 回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值，即当解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。 概念： 回归函数（PRF）说明被解释变量Y的平均状态（总体条件期望）随解释变量X变化的规律。 三、随机扰动项 （*）式称为一元总体回归函数（方程）PRF的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。 随机误差项主要包括下列因素的影响： 1）在解释变量中被忽略的因素的影响； 2）变量观测值的观测误差的影响； 3）模型关系的设定误差的影响； 4）其它随机因素的影响。 四、一元样本回归函数（SRF） 问题：能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？ 该样本的散点图（scatter diagram)： 样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为一元样本回归线（sample regression lines）。 这里将样本回归线看成总体回归线的近似替代 ▼回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF。 §2.2 线性回归模型 一、多元线性回归模型 二、多元线性回归模型的基本假定 一、多元线性回归模型 多元线性回归模型:表现在线性回归模型中的解释变量有多个。 一般表现形式： 二、多元线性回归模型的基本假定 假设1，解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。 假设2，随机误差项具有零均值、同方差及不序列相关性 §2.3 线性回归模型的参数估计 估计方法：OLS、ML 一、普通最小二乘估计 对于随机抽取的n组观测值 二、最大似然估计 对于多元线性回归模型 三、参数估计量的性质 在满足基本假设的情况下，其结构参数?的普通最小二乘估计、最大似然估计及矩估计仍具有： 线性性、无偏性、有效性。 四、样本容量问题 所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 五、线性回归模型的参数估计实例 2、时间序列问题 上述实例表明，时间序列完全可以进行类似于截面数据的回归分析。 然而，在时间序列回归分析中，有两个需注意的问题： 第一，关于抽样分布的理解问题。 能把表2.3.1中的数据理解为是从某个总体中抽出的一个样本吗？ 3、多元线性回归模型的参数估计实例 例2.3.3 在例2.3.2中，已建立了中国居民人均消费一元线性模型。这里我们再考虑建立多元线性模型。 ?样本回归函数的离差形式 i=1,2…n 其矩阵形式为 其中 ： 在离差形式下，参数的最小二乘估计结果为 ?随机误差项?的方差?的无偏估计 可以证明，随机误差项?的方差的无偏估计量为 易知 Y的随机抽取的n组样本观测值的联合概率 即为变量Y的似然函数 对数似然函数为 对对