贝叶斯统计学3.ppt

第三章 先验分布的确定 3.1 主观概率 3.2 利用先验信息确定先验分布 3.3 利用边缘密度m(x)确定先验分布 3.4 无信息先验分布 3.5 多层先验 3.1主观概率 1.主观概率 2.确定主观概率的方法（先验分布） 1主观概率 贝叶斯统计中要使用先验信息，而先验信息主要体现为经验和历史数据。如何利用人们的经验和历史数据，很大程度上取决与如何确定主观概率和利用主观概率。因此主观概率是贝氏统计中一个重要内容。 1）经典统计中关于概率的认识：概率是重复试验的结果；是客观现象的固有属性；因此是客观的，即所谓客观概率。 2.确定主观概率的方法 1)比较法。利用对立事件比较法确定主观概率： 例：某农民为了确定当年种植作物的适宜品种，需要判断当年的气候，根据以往的统计资料和对当前的各种气象迹象的观察，他认为当年气候正常与受灾的可能性之比大致为3:2，如果受灾，水、旱灾之比约为1:1，记正常年景为 ， 发生旱灾为 ，水灾为 ，确定各主观概率。 3.2利用先验信息确定先验分布 利用有关资料确定一个连续性变量的先验分布。 常用的方法：直方图法；超参数确定法；定分度法和变分度法 直方图法 超参数确定法 定分度法和变分度法 3.3利用边缘分布m(x)确定先验分布 1.边缘分布m(x)特征 2.混合分布 3.先验分布选择的ML-Ⅱ方法 4 先验分布选择的矩法 1.边缘分布m(x)特征 1）边缘分布的含义。设总体X的密度函数为 ，他含有未知参数θ，若θ的先验分布选用形式已知的密度 ，则边缘密度可为： 2.混合分布 定义：设随机变量x以概率π在总体F1中取值，以概率1-π在总体F2中取值。若 分别是这两个总体的分布函数，则x的分布函数（统一）为： 所以，其密度函数为 这里可以看作 3.先验分布选择的ML-Ⅱ方法 1）基本思想：在边缘分布m(x)的表达式中，若p(x/θ)已知，则m(x)的大小应该反映 的合理程度。这里，把m(x)记为 ，表示m(x)依赖于先验分布及其超参数，当观测值x对二个不同的先验分布 有 时，人们自然会认为数据x对 比对 提供更多的支持。这样人们也自然就会想到利用m(x)这一特征来确定先验分布（假定先验分布形式已定时，实际上是先验分布的超参数）。 4 先验分布选择的矩法 1）矩法的基本思想：矩法应用的基本条件仍然是先验分布密度函数形式已知。在这一条件下，从总体中抽取的样本 ，实际上相当于来自混合总体（边缘分布）的样本，这样我们可以利用先验矩、样本矩以及边缘分布矩的关系来寻求超参数的估计。 3.4 无信息先验分布 1.引子 2.贝叶斯假设 3.位置参数的无信息先验 4.尺度参数的无信息先验 5.用Fisher信息阵确定无信息先验 1.引子 引子：无信息先验分布是贝叶斯统计学中一个创造性的发明，在没有“无信息先验分布”之前，贝叶斯统计学者无法说明先验信息的利用最低程度。也不能给出在没有先验信息的条件下如何确定先验分布，也就不能处理没有先验信息情况下的实际问题。无信息先验分布的利用开辟了贝叶斯统计应用的新天地。贝叶斯统计的特点就在于充分利用各种先验信息进行统计推断，无信息先验分布的引入解决了大量无信息条件下，运用贝叶斯统计问题。也很好地回应了经典统计对这一问题的质疑。 2.贝叶斯假设 1）无信息先验分布：简单地说，无信息先验分布是指除了未知参数θ的可能取值范围 和θ在总体中的位置以外，再也没又包含总体参数θ的任何其他信息的“先验分布”。 这样的先验分布本质上讲，可能不存在的或者是无法已知的（按照概率密度正常的基本要求）我们只能假定θ在其取值的空间范围内处处具有等可能性。这就提出了所谓贝叶斯假设。 3.位置参数的无信息先验 1）位置参数的定义:若总体X的总体密度具有下列形式： 的概率密度族称为位置参数族。其中，θ为位置参数。密度函数中包含（x-θ）项，且θ只在此出现。 4.尺度参数的无信息先验 1）尺度参数的定义：若总体密度函数具有下列形式： 的概率密度族称为尺度参数族。其中， 为尺度参数。密度函数中包含（ ）项，且 一般只以此形式出现。 5.用Fisher信息阵确定无信息先验 导入：用Fisher信息阵确定无信息先验实际上就是Jeffreys提出的一种确定先验分布的方法，其基本原则仍然是“变换条件下的不变性”原理。由于Fisher信息阵有关属性满足不变性原理，所以，这一方法的主要思想利用Fisher信息阵作为工具确定无信息先验分布，目标就是解决贝叶