1矩估计和极大似然估计.ppt

统计推断的过程 参数估计的方法 解上述方程，得 换成 换成 (4). 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。 II. 求极大似然估计(MLE)的一般步骤 . 由总体分布导出样本的联合概率函数(连 续型时为联合概率密度, 离散型时为联合 概率分布)； (2). 把样本的联合概率函数中的自变量看成 已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )； (3). 求似然函数 L(θ ) 的最大值点 (常常转化 为求ln L(θ )的最大值点) ，即 θ 的MLE; 两点说明： ● 求似然函数 L(θ ) 的最大值点，可应用微积分中的技巧。由于 ln(x) 是 x 的增函数，所以 ln L(θ ) 与 L(θ ) 在 θ 的同一点处达到各自的最大值。假定 θ 是一实数, ln L(θ )是 θ 的一个可微函数。通过求解似然方程 可以得到 θ 的MLE。 ● 用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求 。 若θ 是向量，上述似然方程需用似然方程组 代替 。 例2：某机器生产的金属杆用于汽车刹车系统，假设这种金属杆直径服从正态分布 N(?, ?2) 参数 ? 和 ?2 未知，求此两参数极大似然估计量。 解：似然函数为 对数似然函数为 似然方程组为 由第一个方程，得到 代入第二方程，得到 例3：设总体 X 服从泊松分布 P(? )，求参数? 的极大似然估计。 解：由 X 的概率分布函数为 得? 的似然函数 似然方程为 对数似然函数为 其解为 换成 换成 得? 的极大似然估计 例 4：设 X ～U(a, b)，求 a, b 的极大似然估计。 解：因 所以 由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。 为使 L(a, b) 达到最大，b-a 应该尽量地小。 但 b不能小于 max{x1,x2,…,xn}。否则，L(a,b) = 0。类似地，a 不能大于min{x1,x2,…,xn}。 因此，a 和 b 的极大似然估计为 解：似然函数为 例5：设 X1, X2,…,Xn 是抽自总体 X 的一个样本，X 有如下概率密度函数 其中θ 0为未知常数。求θ 的极大似然估计。 也可写成 求导并令其导数等于零，得 解上述方程，得 小结 本讲首先介绍参数矩估计的基本思想以及求矩估计的步骤，给出多个求参数矩估计的例子；然后介绍参数极大似然估计的基本原理，求极大似然估计的基本方法，给出多个求参数极大似然矩估计的例子。 */22 概率论 与 数理统计 *第一章 随机事件与概率 样本 总体 样本统计量 例如：样本均值、比例、方差 总体均值、比例、方差等 矩估计法 最小二乘法 最大似然法 顺序统计量法 估 计 方 法 点 估 计 区间估计 1. 矩法估计 参数的点估计 2. 极大似然估计 参数估计问题的一般提法 设总体 X 的分布函数为 F( x, θ )，其中θ 为未知参数或参数向量，现从该总体中抽样,得到样本 X1, X2 , … , Xn . 依样本对参数θ 做出估计，或估计参数 θ 的某个已知函数 g(θ ) 。 这类问题称为参数估计。 参数估计包括：点估计和区间估计。 称该计算值为 μ 的一个点估计。 为估计参数 μ，需要构造适当的统计量 T( X1, X2 , … , Xn )， 一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为 μ 的估计， 寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 … 我们仅介绍前面的两种参数估计法 。 其思想是: 用同阶、同类 的样本矩来估计总体矩。 矩估计是基于“替换”思想建立起来的一种参数估计方法 。 最早由英国统计学家 K. 皮尔逊 提出。 一、 矩估计 矩估计就是用相应的样本矩去估计总体矩。 解：先求总体的期望 例1：设总体 X 的概率密度为 由矩法，令 样本矩 总体矩 解得 为α 的矩估计。 注意：要在参数上边加上“^”， 表示参数的估计。它是统计量。 解: 先求总体的均值和 2 阶原点矩。