贝叶斯统计知识整理.pdf

第一章 先验分布和后验分布 统计学有两个主要学派，频率学派与贝叶斯学派。频率学派的观点：统计推 断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息： 体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应 该使用第三种信息：先验信息。贝叶斯统计就是利用先验信息、总体信息和样本 信息进行相应的统计推断。 1 1 . 三种信息 （1）总体信息：总体分布或所属分布族提供给我们的信息 （2 ）样本信息：从总体抽取的样本提供给我们的信息 （3 ）先验信息：在抽样之前有关统计推断的一些信息 1.2贝叶斯公式 一、贝叶斯公式的三种形式 (一）贝叶斯公式的事件形式 k 假定 A ,  , A 是互不相容的事件，它们之和 A 包含事件 B ，即 1 k i i1 k BAi 则有： i1 P( A ) P( B A ) i i P( A B) i k P( A ) P( B A )  i i i1 （二）贝叶斯公式的密度函数形式 1.贝叶斯学派的一些具体思想 I X p(x;)   假设 ：随机变量 有一个密度函数 ，其中 是一个参数，不同的 p(x;)  对应不同的密度函数，故从贝叶斯观点看， 是在给定 后的一个条件密度 函数，因此记为p(x) 更恰当一些。在贝叶斯统计中记为p(x) 它表示在随机变 量 给定某个值时，总体指标 X 的条件分布。这个条件密度能提供我们的有关  的 信息就是总体信息。 II  p(x) X1 Xn 假设 ：当给定 后，从总体 中随机抽取一个样本 ，…， ，该 样本中含有 的有关信息。这种信息就是样本信息。 III  假设 ：从贝叶斯观点来看，未知参数 是一个随机变量。而描述这个随 机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用 () 表示。 2. 先验分布 定义1 ：将总体中的未知参数看成一取值于  的随机变量，它有一概 ()  率分布，记为 ，称为参数 的先验分布。 3.后验分布 （1）从贝叶斯观点看，样本 x=(x ,…,x )的产生要分两步进行。首先设想 1 n 从先验分布() 产生一个样本，这一步是 “老天爷”做的，人们是看不到的，