3.2.1---3.2.3贝叶斯估计.pdf

§3.2 贝叶斯估计 在一个统计问题中，可供选择的决策函数往往很多， 自然希望寻找使风险最小的决策函数，然而在这种意义 下的最优决策函数往往是不存在的。 这是因为风险函数R (θ, d ) 是既依赖于参数 又依赖 θ 于决策函数d 的二元函数，它往往会使得在某些 处决策 θ 函数d 的风险函数值较小，而在另一些 处决策函数d 的 θ 1 2 风险函数值较小。要解决这个问题，就要建立一个整体 指标的比较准则。 贝叶斯方法通过引进先验分布把两个风险函数的点 点比较转化为用一个整体指标的比较来代替，从而可以 决定优劣。 一、先验分布与后验分布 在前一章讨论参数估计问题时，我们都是把待估参 数θ视为参数空间Θ中的一个未知常数（或常数向量）， 在估计时仅利用样本所提供的关于总体的信息，而没有 利用θ关于的其他任何信息。 然而在许多实际问题中，往往在抽样前便对参数θ有 所了解，这种在抽样前对未知参数θ所了解的信息，称为 1 先验信息。 例 3.6* 某学生通过物理实验确定当地的重力加速 度，测得如下数据（ 2 ）:9.80, 9.79, 9.78, 6.81, 6.80 m / s 问如何估计当地的重力加速度？ 如果用样本均值x =8.596 来估计，你一定会认为这 个结果很差，这是因为在未做实验之前你对重力加速度 已有了一个先验的认识，比如你已经知道它大致在 9.80 左右，误差最大不超过 0.1。因此，参数的先验信息对于 正确估计参数往往是很有益的。 要利用参数 的先验信息，通常是将 看作在参数空 θ θ 间Θ中取值的随机变量。 贝叶斯估计方法就是把未知参数θ视为一个具有已 知分布π θ 的随机变量，通常称π θ 为先验分布。 ( ) ( ) 先验分布π θ 有离散型和连续型之分，这要视 是离 ( ) θ 散型随机变量还是连续型随机变量而定。 设总体 X 的分布密度为p(x ,θ) ， 的先验分布为 θ∈Θ, θ π θ .贝叶斯估计中我们将总体的分布密度p(x ,θ) 应看作 ( ) 给定θ时 X 的条件分布密度，于是总体 X 的分布密度 p (x , θ) 改用p (x θ) 来表示。 2 设总体为 X ，样本为: X (X 1 ,..., X n )T T T 给定样本值x (x , x , , x ) 时，样本X (X 1 ,..., X n ) 的联 1 2 n