李子奈 一元线性回归模型的参数估计.ppt

  1. 1、本文档共23页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
李子奈一元线性回归模型的参数估计概要1

§2.3 一元线性回归模型的参数估计 一、参数的普通最小二乘估计(OLS) 二、参数估计的最大或然法(ML) 三、最小二乘估计量的性质 四、参数估计量的概率分布及随机干 扰项方差的估计 二、参数的普通最小二乘估计(OLS) 给定一组样本观测值(Xi, Yi)(i=1,2,…n)要求样本回归函数尽可能好地拟合这组值。 普通最小二乘法(Ordinary least squares, OLS)给出的判断标准是:二者之差的平方和最小。 三、参数估计的最大或然法(ML) 最大或然法(Maximum Likelihood,简称ML),也称最大似然法,是不同于最小二乘法的另一种参数估计方法,是从最大或然原理出发发展起来的其它估计方法的基础。 基本原理: 对于最大或然法,当从模型总体随机抽取n个样本观测值后,最合理的参数估计量应该使得从模型中抽取该n个样本观测值的概率最大。 四、最小二乘估计量的性质 当模型参数估计出后,需考虑参数估计值的精度,即是否能代表总体参数的真值,或者说需考察参数估计量的统计性质。 (2)无偏性,即它的均值或期望值是否等于总体的真实值; (3)有效性,即它是否在所有线性无偏估计量中具有最小方差。 拥有这类性质的估计量称为最佳线性无偏估计量(best liner unbiased estimator, BLUE)。 由于随机项?i不可观测,只能从?i的估计——残差ei出发,对总体方差进行估计。 可以证明,?2的最小二乘估计量为 * 方程组(*)称为正规方程组(normal equations)。 记 上述参数估计量可以写成: 称为OLS估计量的离差形式(deviation form)。 由于参数的估计结果是通过最小二乘法得到 的,故称为普通最小二乘估计量(ordinary least squares estimators)。 在满足基本假设条件下,对一元线性回归模型: 随机抽取一组样本观测值(Xi, Yi)(i=1,2,…n)。 那么Yi服从如下的正态分布: 于是,Y的概率函数为 (i=1,2,…n) 假如模型的参数估计量已经求得,为 因为Yi是相互独立的,所以的所有样本观测值的联合概率,也即或然函数(likelihood function)为: 将该或然函数极大化,即可求得到模型参数的极大或然估计量。 由于或然函数的极大化与或然函数的对数的极大化是等价的,所以,取对数或然函数如下: 解得模型的参数估计量为: 可见,在满足一系列基本假设的情况下,模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。 例2.2.1:在上述家庭可支配收入-消费支出例中,对于所抽出的一组样本数,参数估计的计算可通过下面的表2.2.1进行。 因此,由该样本估计的回归方程为: 0.670 4974750 1583-0.670×2150=142.4 142.4+0.670xi 一个用于考察总体的估计量,可从如下几个方面考察其优劣性: (1)线性性,即它是否是另一随机变量的线性函数; 高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量。 - 证: 易知 故 同样地,容易得出 (2)证明最小方差性 其中,ci=ki+di,di为不全为零的常数 则容易证明 普通最小二乘估计量(ordinary least Squares Estimators)称为最佳线性无偏估计量(best linear unbiased estimator, BLUE) 五、参数估计量的概率分布及随机干扰项方差的估计 2、随机误差项?的方差?2的估计 ?2又称为总体方差。 它是关于?2的无偏估计量。 *

文档评论(0)

yaocen + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档