应用数理统计9.ppt

第四节 统计决策理论和极小化极大(Minimax)估计简介* 1950年，统计学家瓦尔德（A.Wald）出版了题为《Statistical Decision Function》的一书，建立了一种统一处理各种统计问题的决策理论。这个理论已不同程度地渗透到了数理统计的各个分支中，对数理统计的发展产生了很大影响，应用非常广泛。 一 统计决策模型（三要素） 样本空间和分布族 决策空间(和决策函数) 损失函数(与风险函数) 例1 设总体服从参数为?的泊松分布， ?0,选取二次损失函数L(?,d)=(d-?)2,考虑?的估计量的风险函数 前面的点估计的优良性的均方误差即是取二次损失函数，来寻求决策问题的一致最优解（未知参数的最优估计）。如果限定在无偏估计类中，也得到了比较好的结果。即：如果未知参数存在充分完全统计量，且有无偏估计，则存在唯一的最优估计。但是这个估计量不一定在未知参数所有的估计量中最优。 区间估计 二 极小化极大 (Minimax)估计 例 设总体X～B(1,p),p??={1/2,1/4},样本容量为1，即X1为样本,D＝ {1/2,1/4},损失函数L(p,d)由下表给出，试求参数p的Minimax估计。 第五节 贝叶斯(Bayes)估计* 迄今为止，我们所研究的统计推断用了两种知识：一是模型，即总体的样本族；另一种是由样本所提供的包含了有关未知参数的信息。 但还有一种信息，即在获得估计之前，对总体情形的一些了解，称为附加信息。下面所要介绍的Bayes估计就是把附加信息也利用上的一种估计。 一 先验分布与后验分布 设总体?的分布函数为F(x;?), 参数?在给定的参数空间上具有给定的分布函数H(?),通常称H(?)为参数空间?上的先验分布。 记F(x| ?)= F(x;?)表示给定?时总体的条件分布，从而(?, ?)的联合分布函数(密度函数)为 F(x, ?)=H(?)F(x| ?) f(x, ?)=h(?)f(x| ?) 在联合分布下?的边缘分布? ?f(x, ?)d ?是对?的一种“平均”，与?无关。 二 贝叶斯统计推断原则 原则： 对参数?所作的任何推断必须基于且只能基于?的后验分布。 由上面原则，对?的推断不依赖样本分布和先验分布，因此估计的无偏性就没有意义了。 矩估计不适合Bayes推断原则。 极大似然估计适合Bayes推断原则。 此例中，后验置信度为1－?的区间估计是[t-?u1-?/2, t+?u1-?/2 ].显然它完全由后验密度确定，却也包含了先验密度和样本的信息。 贝叶斯估计?的含义：在Bayes学派看来， ?是一个有一定分布的随机变量。估计?的含义是：估计随机变量?在一个特定的场合下所取定的特定值。这种解释（观点）就必然容许概率的非频率解释。因为从频率的观点看，说“一个确定的未知数1的可能性为0.9”是毫无意义的。 五 从统计决策理论看Bayes估计 贝叶斯估计 风险函数R(?,d)=E{L(?,d(X))| ?)是随机变量?的函数，因此也是一个随机变量。 B(d)=E?{R(?,d(X))| ?} = ?? R(?,d(X))h(?) d ? 称为决策函数d(X)的贝叶斯风险。 定义: 设总体F?(x), ?为随机变量，对任一决策函数d(x),若有一决策函数d*(x),使得 则称d*(x)为参数?的贝叶斯估计量。 对于离散型分布也可得到类似结果。 连续型总体的Bayes估计 参数估计习题 设?～U[0, ?], ?0,求?的矩估计和MLE,并比较它们的优良性，进一步求?的一致最小方差无偏估计，是否达到了无偏估计的方差下界？ 设X~B(1,p), 0p1, 求p2的无偏估计估计。 作业 设总体X～B(1,p),p??={1/2,1/4},样本容量为1，即X1为样本,D＝ {1/2,1/4},损失函数L(p,d)由下表给出，试求参数p的Minimax估计。 利用前面所讲求出贝叶斯风险函数为 定理： 如果取损失函数为平方损失函数L(?,d)=(?-d)2,则?的贝叶斯估计是 例1 设X~B(1,p), 0p1, L(?,d)=(?-d)2并设p~U[0,1],即有h(p)=1,0p1,试求参数p的Bayes估计。 例2 设X~N(?,1), 又设?~N(0,1), L(?,d) =(? -d)2,试求参数?的Bayes估计。 设?～?(?), ? 0,X1为一样本，试验证