信号检测与估计2006-第6讲BAYES估计.pdfVIP

统计信号处理基础 — 估计理论 杨文 电子信息学院 测绘校区教学实验大楼十楼1008室 E-mail: yw@eis.whu.edu.cn 贝叶斯 贝叶斯1 7 0 1年出生于英国，比费马晚了整整1 0 0 贝叶斯1 7 0 1年出生于英国，比费马晚了整整1 0 0 年，比帕斯卡晚了7 8年，他的一生并不辉煌。作为一 年，比帕斯卡晚了7 8年，他的一生并不辉煌。作为一 名皇家协会的会员，他生前在数学领域并未发表任何 名皇家协会的会员，他生前在数学领域并未发表任何 文章。在他死后，他的论文“如何解决随机原理中某一 文章。在他死后，他的论文“如何解决随机原理中某一 问题的论述”发表了。当时，人们没有对此引起重视。 问题的论述”发表了。当时，人们没有对此引起重视。 然而，据彼得·伯恩斯坦说，贝叶斯的论述“是一篇极 然而，据彼得·伯恩斯坦说，贝叶斯的论述“是一篇极 具创新思想的作品，它使贝叶斯在统计学家、经济学 具创新思想的作品，它使贝叶斯在统计学家、经济学 家和社会学家中占有不朽的地位。” 家和社会学家中占有不朽的地位。” 贝叶斯定理教给我们一种逻辑分析方法，即为什么在 贝叶斯定理教给我们一种逻辑分析方法，即为什么在 众多可能性中只有某一种结果会发生。从概念上讲这 众多可能性中只有某一种结果会发生。从概念上讲这 是一种简单的步骤。我们首先基于所掌握的证据为每 是一种简单的步骤。我们首先基于所掌握的证据为每 一种结果分配一个概率。当更多的证据出现时，我们 一种结果分配一个概率。当更多的证据出现时，我们 对原有的概率进行调整以反映新的信息。为了成功地 对原有的概率进行调整以反映新的信息。为了成功地 应用概率原理，关键的一步是要将历史数据与最近可 应用概率原理，关键的一步是要将历史数据与最近可 得的数据相结合，这就是行动中的贝叶斯分析法。 得的数据相结合，这就是行动中的贝叶斯分析法。 “争论” 即便在他的时代，Bayes发现他自己置身于主流之外。 即便在他的时代，Bayes发现他自己置身于主流之外。 他于1702年出生于伦敦，后来他成为了一名 他于1702年出生于伦敦，后来他成为了一名 Presbyterian minister。虽然他看到了自己的两篇 Presbyterian minister。虽然他看到了自己的两篇 论文被发表了，他的理论很有效，但是 《Essay 论文被发表了，他的理论很有效，但是 《Essay Toward Solving a Problem in the Doctrine of Toward Solving a Problem in the Doctrine of Chances》却一直到他死后的第三年，也就是1764 Chances》却一直到他死后的第三年，也就是1764 年才被发表。 年才被发表。 神学家Richard Price和法国的数学家Pierre Simon 神学家Richard Price和法国的数学家Pierre Simon LaPlace成为了早期的支持者。该理论和后来George LaPlace成为了早期的支持者。该理论和后来George Boole，布尔数学之父的理论背道而驰。George Boole，布尔数学之父的理论背道而驰。George Boole的理论是基于代数逻辑的，并最终导致了二进 Boole的理论是基于代数逻辑的，并最终导致了二进 制系统的诞生。也是皇室成员之一的Boole死于1864 制系统的诞生。也是皇室成员之一的Boole死于1864 年。 年。 批评者周期性地声称Bayes模型依赖于主观的数据， 批评者周期性地声称Bayes模型依赖于主观的数据， 而让人类去判断答案是否正确。而概率论模型没有完 而让人类去判断答案是否正确。而概率论模型没有完 全解决在人类思维过程中存在的细微差别的问题。 全解决在人类思维过程中存在的细微差别的问题。 贝叶斯定理 贝叶斯定理为我们提供了不断更新我