pr5.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 5.2 参数估计 贝叶斯估计(BE) 贝叶斯估计的思想是：所求得的 的估计值 应使估计损失的期望最小，这种使 或等价的使 取最小值的 的估值 称为 的贝叶斯估计。 5.2 参数估计 贝叶斯估计(BE) 不同的具体定义，可得到不同的最佳贝叶斯估计。比如，可以用平方误差作为代价，此时： 上式中，对于 于是： 5.2 参数估计 贝叶斯估计(BE) 由于 是非负的， 只出现在内层积分中，关于 使 最小等价于： 为求 极小，令 5.2 参数估计 贝叶斯估计(BE) 从而可得： 上式表明， 的最小方差贝叶斯估计是在观测 条件下的 的条件期望。 5.2 参数估计 贝叶斯估计(BE) 下面介绍估计 由贝叶斯定理知： 所涉及的其它公式或近似算式： 由于各样本是独立抽取的，故它们条件独立，即有 5.2 参数估计 贝叶斯估计(BE) 的后验概密 也可以作如下近似计算： 为正态分布 ，可取 ， 为估计的不确定性度量。由于 只与 有关而与 无关，可取其为一个关于 的简单函数 ，由于观测是独立的，则上式可近似为： 设 5.2 参数估计 贝叶斯估计(BE) 归纳起来贝叶斯估计的步骤是： 1. 确定未知参数集 的先验概密 2. 由样本集 根据下式(已知概型)求 3. 根据下式计算 4. 根据下式计算 * 5.4 概密的窗函数估计法 概率密度的基本估计式 由于下面只针对 类的概密和样本进行讨论，为简洁，下面不再标记类别。记 类的概密: 设 个样本 是从上述概密为 的总体中独立抽取的， 个样本中有 个样本落入区域 中的概率 服从离散随机变量的二项分布 ，是 的总体概密 随机矢量 落入区域 中的概率为 * 5.4 概密的窗函数估计法 概率密度的基本估计式 令 为众数，如果 不是整数，则: 即 等于 的整数部分； 在上面的二项分布中使 取最大的 值称为众数。 如果 是整数，则: 和 * 5.4 概密的窗函数估计法 概率密度的基本估计式 众数定义表明有 个样本落入区域 的概率最大。由概率论知， 的数学期望 。若实际落入域 的样本有 个，就认为这时的 。 由于： 所以： 这里 是 的估计，当 较大 较小时上式的近似程度是足够的。 * 5.4 概密的窗函数估计法 概率密度的基本估计式 当固定 时，对 的最大似然估计 ， 由概率论知， 的数学期望 。 综上所述并根据贝努利定理可以认为 的估值 * 5.4 概密的窗函数估计法 概率密度的基本估计式 设区域 R 的体积为 V ，我们取 R 足够小，使 ò ? = R V x p x d x p P ) ( ) ( r r r 设 ) ( ? x p r 是 ) ( x p r 的估计，由上面二式有 V x p x d x p P N k R ) ( ? ) ( ? ? r r r = = = ò 于是可得 * 5.4 概密的窗函数估计法 概率密度的基本估计式 显然 是 的基本估计式，它与 有关，显然 和 有一定的误差。 理论上，要使 ? ? R?0 ? V?0，同时k??，N??。 而实际估计时体积 不是任意的小，且样本总数 总是存在误差。 也是有限的，所以 * 5.4 概密的窗函数估计法 概率密度的基本估计式 为了提高 处的概密 ) ( x p r 的估计精度，我们根据 理论，可以采用如下步骤以尽量满足理论要求： 极限 ⑴ 构造一包含 的区域序列 各区域 的体积 满足 ⑵ 相对区域 作估计实验，对 取 N 个样本 进行估计，设有 个样本落入 样本数目应满足 中， * 5.4 概密的窗函数估计法 概率密度的基本估计式 则估计 处处收敛于 ) ( x p r 。 只要区域平稳地缩小， 在 处连续，则: 可使空间平均密度 收敛于真实的密度 仅对 的点才有意义，亦即当 时，使 ，可