贝叶斯推断及其互联网应用.pdfVIP

贝叶斯推断及其互联网应用 作者 ：阮一峰 定理简介 一、什么是贝叶斯推断 贝叶斯推断 （Bayesian inference ）是一种统计学方法 ，用来估计统计量的某种性质。 它是贝叶斯定理 （Bayes theorem ）的应用。英国数学家托马斯·贝叶斯 （Thomas Bayes ） 在 1763 年发表的一篇论文中 ，首先提出了这个定理。 贝叶斯推断与其他统计学推断方法截然不同。它建立在主观判断的基础上 ，也就是说 ，你可 以不需要客观证据 ，先估计一个值 ，然后根据推断结果不断修正。正是因为它的主观性太强 ， 曾经遭到许多统计学家的诟病。 贝叶斯推断需要大量的计算 ，因此历史上很长一段时间 ，无法得到广泛应用。只有计算机诞 生以后 ，它才获得真正的重视。人们发现 ，许多统计量是无法事先进行客观判断的 ，而互联 网时代出现的大型数据集 ，再加上高速运算能力 ，为验证这些统计量提供了方便 ，也为应用 贝叶斯推断创造了条件 ，它的威力正在日益显现。 二、贝叶斯定理 要理解贝叶斯推断 ，必须先理解贝叶斯定理。后者实际上就是计算条件概率的公式。 所谓条件概率 （Conditional probability ），就是指在事件 B 发生的情况下 ，事件 A 发 生的概率 ，用 P(A|B)来表示。 根据文氏图 ，可以很清楚地看到在事件 B 发生的情况下 ，事件 A 发生的概率就是 P(A∩B) 除以 P(B)。 P(A|B) P(A⋂B)P(B) 因此 ， P(A⋂B) P(A|B)P(B) 同理可得 ， P(A⋂B) P(B|A)P(A) 所以 ， P(A|B)P(B) P(B|A)P(A) 即 P(A|B) P(B|A)P(A)P(B) 这就是条件概率的计算公式。 三、全概率公式 由于后面要用到 ，所以除了条件概率以外 ，这里还要推导全概率公式。 假定样本空间 S ，是两个事件 A 与 A的和。 上图中 ，红色部分是事件 A ，绿色部分是事件 A ，它们共同构成了样本空间 S。 在这种情况下 ，事件 B 可以划分成两个部分。 即 P(B) P(B⋂A)+P(B⋂A′) 在上一节的推导当中 ，我们已知 P(B⋂A) P(B|A)P(A) 所以 ， P(B) P(B|A)P(A)+P(B|A′)P(A′) 这就是全概率公式。它的含义是 ，如果 A 和 A构成样本空间的一个划分 ，那么事件 B 的概 率 ，就等于 A 和 A的概率分别乘以 B 的条件概率之和。 将这个公式代入上一节的条件概率公式 ，就得到了条件概率的另一种写法 ： P(A|B) P(B|A)P(A)P(B|A)P(A)+P(B|A′)P(A′) 四、贝叶斯推断的含义 对条件概率公式进行变形 ，可以得到如下形式 ： P(A|B) P(A)P(B|A)P(B) 我们把 P(A)称为先验概率 （Prior probability ），即在 B 事件发生之前 ，我们对 A 事件 概率的一个判断。P(A|B)称为后验概率（Posterior probability ），即在 B 事件发生之后 ， 我们对 A 事件概率的重新评估。P(B|A)/P(B)称为可能性函数 （Likelyhood ），这是一个 调整因子 ，使得预估概率更接近真实概率。 所以 ，条件概率可以理解成下面的式子 ： 后验概率 ＝ 先验概率 ｘ 调整因子 这就是贝叶斯推断的含义。我们先预估一个先验概率 ，然后加入实验结果 ，看这个实验到