第1章先验分布与后验分布.ppt

贝叶斯统计 预修要求：已修过概率论与数理统计 目 录 贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法(Samuel Kotz和吴喜之,2000)。 贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数(茆诗松和王静龙等,1998年)。 “贝叶斯提出了一种归纳推理的理论(贝叶斯定理)，以后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法.”──摘自《中国大百科全书》（数学卷） 第一章 先验分布与后验分布 统计学中有两个主要学派：频率学派与贝叶斯学派。下面从统计推断的三种信息来说明他们之间的区别与联系。 §1.1 三种信息 一、总体信息，即总体分布或总体所属分布给我们的信息。 例如，“总体是正态分布”就给我们带来很多信息：它的密度函数是一条钟形曲线；它的一切一阶矩都存在；有关正态变量（服从正态分布随机变量）的一些事件的概率可以计算；由正态分布可以导出卡方分布，t分布和F分布等重要分布，还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。 说明：总体信息是很重要的信息，为了获取此种信息往往耗资巨大。 二、样本信息，即从总体抽取的样本给我们的信息 这是最“新鲜”的信息，并且愈多愈好。 人们希望通过对样本的加工和处理对总体的某些特征做出较为精确的统计推断。 例：有了样本观察值，我们可根据它大概知道总体的一些特征数（均值、方差等）在一个什么范围内。 没有样本就没有统计学可言。这是大家都理解的事实。 （1）总体信息:总体分布提供的信息。 （2）样本信息:抽取样本所得观测值提供的信息。 （3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。 它与经典统计学的差别就在于是否利用先验信息。 贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。 忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。 在使用样本信息上也是有差异的.贝叶斯学派重视已出现的样本观察值,而对尚未发生的样本观察值不予考虑. 贝叶斯学派的基本观点：任一未知量? 都可看作一个随机变量，应该用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量? 新的分布—后验分布；任何关于? 的统计推断都应该基于? 的后验分布进行。 贝叶斯统计和经典统计的比较 是否利用先验信息 对概率的不同解释 频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论； 与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度它不依赖事件能否重复。 具体统计理念的差异 统计学奠基人费歇尔把统计学的任务概括为三个问题：选定模型,、确定统计量和决定统计量的分布。 贝叶斯学派认为：先验分布反映了试验前对总体参数分布的认识，在获得样本信息后，对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了先验分布和样本的信息。 经典统计学派对贝叶斯统计的批评 贝叶斯方法受到了经典统计学派中一些人的批评,批评的理由主要集中在以下三点： (1) 贝叶斯方法具有很强的主观性而研究的问题需要更客观的工具。经典统计学是“客观的”, 因此符合科学的要求。而贝叶斯统计学是“主观的”，因而(至多)只对个人决策有用。 (2)应用的局限性,特别是贝叶斯方法有许多封闭型的分析解法,不能广泛地使用。 (3)先验分布的误用。 对以上这些批评,贝叶斯学派的回答如下： 总结 理解贝叶斯统计学与经典统计学的主要差别。 贝叶斯统计学派的最基本的观点 。 4.?0 是未知的，它是按先验分布?(? )产生的。为把先验信息综合进去，不能只考虑?0，对?的其它值发生的可能性也要加以考虑，故要用?(? )进行综合。这样一来，样本x=（x1 , …, xn）和参数? 的联合分布为: h(x, ? ) = p(x?? )?(? )， 这个联合分布把总体信息、样本信息和先验信息三种可