第三章先验分布的确定.pptx

第三章 先验分布的确定;第一节 主观概率 第二节 利用先验信息确定先验分布 第三节 利用边际分布m(x) 确定先验密度 第四节 无信息先验分布 第五节 多层先验;3.1.1 主观概率 贝叶斯统计中要使用先验信息，而先验信息主要是指经验和历史资料。因此如何用人们的经验和过去的历史资料确定概率和先验分布是贝叶斯学派要研究的问题。 贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生可能性所给出个人信念。这样给出的概率称为主观概率。 ;3.1.2 确定主观概率的方法 根据经验和历史资料等先验信息给出主观概率没有什么固定的模式，大家还可在实践中创造，但不管用什么方法，其所确定的主观概率都必须满足概率的三条公理，即 1. 非负性公理：对任一事件A， 。 2. 正则性公理：必然事件的概率为1。 3. 可列可加性公理：对可列个互不相容的事件 ，有 当发现所确定的主观概率与这三条公理及其推出的性质有不和谐时，必须立即修正，直到和谐为止。这时给出的主观概率才能称得上概率。;在贝叶斯方法中关键的一步是确定先验分布。 当总体参数θ是离散时，即参数空间 只含有限个或可数个点时，可对 中每个点确定一个主观概率，而主观概率可用3.1所述的方法确定。 当总体参数θ是连续时，即参数空间 是实数轴或其上某个区间时，要构造一个先验密度 那就有些困难了。当θ的先验信息（经验和历史数据）足够多时，下面三个方法可供使用。 ;3.2.1 直方图法 ;3.2.2 选定先验密度函数形式再估计其超参数 这个方法的要点如下： (1)根据先验信息选定θ的先验密度函数 的形式，如选其共轭先验分布。 (2)当先验分布中含有未知参数(称为超参数)时,譬如 给出超参数α,β的估计值使 最接近先验信息。 这个方法最常用，但也极易误用，因为先验密度 的函数形式选用不当将会导致以后推导失误。 ;3.2.3 选定先验密度函数形式再估计其超参数 这二个方法都是通过专家咨询获得各种主观概率，然后经过整理加工即可得到累积概率分布曲线。 这二个方法类似，但做法略存差异。定分度法是把参数可能取值的区间逐次分为长度相等的小区间，每次在每个小区间上请专家给出主观概率。变分度法是把参数可能取值的区间逐次分为机会相等的两个小区间，这里分点由专家确定。这二个方法很容易学会，在一个短暂的时间后，决策者与专家就能逐渐熟悉它们，并能相当顺手地利用它们，但要注意，你所咨询的专家，应是声誉良好的和富有经验的，这二个方法相比，决策者更愿意使用变分度法。;3.3.1边际分布m(x) 设总体X的密度函数为 ，它含有未知参数θ，若θ的先验分布选用形式已知的密度函数 ，则可算得X的边缘分布（即无条件分布） 当先验分布含有未知参数，譬如 ，那么边缘分布m(x)依赖于λ,可记为m(x|λ)，这种边缘分布在寻求后验分布时常遇到，只是在那里没有强调罢了。;3.3.2 混合分布 设随机变量X以概率π在总体 中取值，以概率1-π在总体中取值。若 和 分别是这二个总体的分布函数,则X的分布函数为 或用密度函数(或概率函数)表示 这个分布F(x)称为 和 的混合分布。这里的π和1-π可以看作一个新的随机变量θ的分布，即 ;从上述定义容易看出：从混合分布F(x)中抽取一个样品 ,相当于如下的二次抽样: 第一次,从 中抽取一个样品θ。 第二次，若 ，则从 中再抽一个样品，这个样品就是 ，若 ，则从 中再抽一个样品，这个样品就是 。 若从混合分布抽取一个容量为n的样本, ，那么其中约有 个来自 ，约有 个来自 ，这样的样本 有时也称为混合样本。;3.3.3 先验选择的ML-II方法 在边缘分布m(x)的表示式(3.3.1)中,若p(x|θ)已知，则m(x)的大小反映π(θ)的合理程度，这里把m(x)记为 。当观察值x对二个不同的先验分布 和 ,有 时，人们可认为，数据x对 比对 提供更多支持。于是把 看作π的似然函数是合理的。既然π有似然函数可言，那么用极大似然法选取π就是很自然的事。 这样定出的先验称为II型极大似然先验，或称为ML-II先验。 ;假如混合样本 所涉及的先验密度函数的形式已知，未知的仅是其中的超参数，即先验密度函数族可表示如下： 这时寻求ML-II先验是较为简单的事,只要寻求这样的 使得 这可用最大化似然函数方法来实现。 ;3.3.4 先验选择的矩方