浅谈贝叶斯方法.doc

浅谈贝叶斯方法 随着MCMC（马尔可夫链蒙特卡尔理论Markov chain Monte Carlo）的深入研究，贝叶斯（T.Bayes）统计已成为当今国际统计科学研究的热点。翻阅近几年国内外统计学方面的杂志，特别是美国统计学会的JASA(Journal of the American Statistical Association) 、英国皇家学会的统计杂志JRSS（Journal of the Royal Statistical Society）等，几乎每期都有“贝叶斯统计”的论文。贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。托马斯·贝叶斯在18世纪上半叶群雄争霸的欧洲学术界可谓是个重要人物，他首先将归纳推理法应用于概率论，并创立了贝叶斯统计理论，对于统计决策函数、统计推理、统计估算等作出了贡献。贝叶斯所采用的许多概率术语被沿用至今。他的两篇遗作于逝世前4个月，寄给好友普莱斯（R.Price分别于1764年、1765年刊于英国皇家学会的《哲学学报》。正是在第一篇题为“机会学说中的一个问题的解”（An essay towards solving a problem in the doctrine of chance）的论文中，贝叶斯创立了逆概率思想。统计学家巴纳德赞誉其为“科学史上最著名的论文之一”。 一、第一部分中给出了7个定义。 定义1 给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。 定义2 若两个事件不能同时发生，且每次试验必有一个发生，则称这些事件相互对立。 定义3 若某事件未发生，而其对立事件发生，则称该事件失败。 定义4 若某事件发生或失败，则称该事件确定。 定义5 任何事件的概率等于其发生的期望价值与其发生所得到的价值之比 。 定义6 机会与概率是同义词。 定义7 给定事件组，若当其中任何一个事件发生时，其余事件的概率不变，则称该事件组互相独立。 贝叶斯所给出的互不相容、相互独立、对立事件的定义与现在的定义差别无几，他首次明确了机会与概率的等价性。同时贝叶斯也给出了一系列命题。 二、贝叶斯统计的基本思想 1. 三种信息 拉普拉斯（Laplace，Pierre-Simon(1749～1827)）发现了贝叶斯统计的核心——贝叶斯公式（又称为逆概公式），进行了更清晰的阐述，并用它来解决天体力学、医学统计以及法学问题。在介绍贝叶斯公式前，先简单介绍一下三种信息：总体信息、样本信息和先验信息。 1.1 总体信息：是人们对总体的了解，所带来的有关信息，总体信息包括总体分布或者总体分布族的有关信息。例如：“总体属于正态分布”、“它的密度函数是钟型曲线”等等。 1.2 样本信息：是通过样本而给我们提供的有关信息。这类“信息”是最具价值和与实际联系最紧密的信息。人们总是希望这类信息越多越好。样本信息越多一般对总体推断越准确。 基于以上两种信息所作出的统计推断被称为经典统计。其特征主要是：把样本数据看成是来自具有一定概率分布的总体，所研究的对象是总体，而不是立足与数据本身。 1.3 先验信息，即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。先验信息在日常生活中和工作中也经常可见，不少人在自觉或不自觉的使用它，但经典统计忽视了，对于统计推断是一个损失。 基于上述三种信息进行的推断被称为贝叶斯统计学。它与经典统计学的主要区别在于是否利用先验信息。在使用样本信息上也是有差异的。 2.贝叶斯统计的基本思想 国际数理统计主要有两大学派：贝叶斯学派和经典学派。他们之间既有共同点，又有不同点。贝叶斯统计与经典统计学的最主要差别在于是否利用先验信息，经典统计学是基于总体信息（即总体分布或总体所属分布族的信息）和样本信息（即从总体抽取的样本的信息）进行的统计推断，而贝叶斯统计是基于总体信息、样本信息和先验信息（即在抽样之前有关统计问题的一些信息，主要来源于经验或历史资料)进行的统计推断。贝叶斯统计是贝叶斯理论和方法的应用之一，其基本思想是:假定对所研究的对象在抽样前己有一定的认识，常用先验（Prior）分布来描述这种认识，然后基于抽取的样本再对先验认识作修正，得到后验分布，而各种统计推断都基于后验分布进行。经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。在取得样本观测值之前，往往对参数统计模型中的参数有某些先验知识，关于的先验知识的数学描述就是先验分布。贝叶斯统计的主要特点是使用先验分布，而在得到样本观测值后，由与先验分布提供的信息，经过计算和处理，组成较完整的后验信息。这一后验分布是贝叶斯统计推断的基础。贝叶斯定理既适用于离散型随