统计决策理论课件.pptVIP

Chp12：统计决策理论 用不同方法可能得到多个不同的估计，哪个估计更好一些？ 统计决策理论：比较统计过程的形式化理论 损失函数 损失函数：度量真值 与估计 之间的差异 损失函数举例 风险函数 注意：估计 是数据的函数，有时记为 风险函数：平均损失 估计 的风险定义为 对平方误差损失，风险为MSE 风险是 的函数 比较不同的估计，转化为比较不同估计的风险 但并不能清楚地回答哪个估计更好 风险比较 例12.3：令 ， 损失函数：平方误差损失 估计1：极大斯然估计： 偏差bias=0，所以 风险比较 例12.3（续）:估计2：贝叶斯估计，先验为 ，则估计为 风险为 当 时， 风险比较 风险比较 风险函数的两个单值概述 最大风险 贝叶斯风险 其中 为θ的先验。 风险比较 例12.5： 最大风险函数： ，所以根据最小最大风险， 更好一些 风险比较 例12.5： 贝叶斯风险：先验为 当 时， 所以根据最小贝叶斯风险， 更好一些 决策规则(Decision Rules) 决策规则是估计的别名 最小化贝叶斯风险的决策规则称为贝叶斯规则或贝叶斯估计，即 为对应先验 f 的贝叶斯估计 其中下界是对所有的估计 计算 最小化最大风险的估计称为最小最大规则 其中下界是对所有的估计 计算 贝叶斯估计 估计 的后验风险： 贝叶斯风险与后验风险： 其中 为X的边缘分布 为最小化后验风险 的θ的值 则 为贝叶斯估计 给定一个模型（先验和似然）和损失函数，就可以找到贝叶斯规则 贝叶斯估计 一些简单损失函数对应的贝叶斯规则 若 ，则贝叶斯规则为后验均值 若 ，则贝叶斯规则为后验中值 若 为0-1损失，则贝叶斯规则为后验众数(MAP) 最小最大规则 找最小最大规则、或者证明一个估计是最小最大估计是一件很困难的事情。 本节主要讲述一个简单的方法：有些贝叶斯估计（风险为常数）是最小最大估计 令 对应先验 f 的贝叶斯估计： 假设 则 为最小最大估计，且f 称为最小受欢迎先验( least favorable prior)。 上述结论一个简单的结论：如果一个贝叶斯规则的风险为常数 ，则它是最小最大估计。 正态分布的最小最大规则 定理12.14：令 ， 则 是关于任意损失函数的最小最大规则 且这是唯一有此性质的估计 MLE为近似最小最大估计 对满足弱正则条件的参数模型，极大似然估计近似为最小最大估计。对均方误差损失，通常 根据Cramer-Rao 不等式，这是所有无偏估计的方差的下界。 MLE为近似最小最大估计 因此对所有估计 ，有 对大数n， MLE为近似最小最大估计。 因此，对大多数参数模型，当有大量样本时，MLE近似为最小最大估计和贝叶斯估计。 Many Normal Means 情况不成立（不是大样本） 可接受性(Admissibility) 一个估计如果在θ所有值上都比其它估计的风险大，则该估计不是我们所希望的。如果存在一个其它的规则 ，使得 则该估计 是不可接受的。 否则， 是可接受的。 贝叶斯规则是可接受性 可接受性是与其他表示估计好坏的方法有何关系？ 在一些正则条件下，如果 为贝叶斯规则且有有限风险，则它是可接受的。 定理12.20：令 ，在均方误差损失下， 是可接受的。 风险为 可接受性 如果 的风险为常数且是可接受的，则它是最小最大估计。 定理12.22：令 ，在均方误差损失下， 是最小最大估计。 风险为 虽然最小最大估计不能保证是可接受的，但它是“接近可接受的”。 多正态均值(Many Normal Means) Many Normal Means是一个原型问题，与一般的非参数估计问题等价。对这个问题，以前