Lecture 6_Bayes Learning_1 机器学习概论 教学课件.ppt

联合分布 二维离散型随机变量：若二维随机变量(X,Y)只能取至多可列个值(xi,yj), (i,j＝1, 2, … ) 若二维离散型随机变量(X,Y) 取 (xi, yj)的概率为pij,则称P{X＝xi, Y＝ yj,}＝ pij (i, j＝1, 2, … )，为二维离散型随机变量(X,Y)的分布律，或随机变量X与Y的联合分布律. 简记  (X, Y)～ P{X＝xi, Y＝ yj,}＝ pij ，(i, j＝1, 2, … )， X Y y1 y2 … yj … p11 p12 ... P1j ... p21 p22 ... P2j ... pi1 pi2 ... Pij ... ... ... ... ... ... ... ... ... 联合分布律的性质 (1) pij ?0 , i, j＝1, 2, … ； (2) x1 x2 xi 二维离散型随机变量的分布律也可列表表示如下: 联合分布 类似可以推广到n维！！！ 若随机变量X与Y的联合分布律为 (X, Y)～ P{X＝xi, Y＝ yj,}＝ pij ，i, j＝1, 2, … 则称 P{X＝xi}＝pi.＝ ，i＝1, 2, … 为(X, Y)关于X的边缘分布律； P{Y＝ yj}＝p.j＝ ，j＝1, 2, … 为(X, Y)关于Y的边缘分布律。 边缘分布律自然也满足分布律的性质。 边缘分布律 例 已知(X,Y)的分布律为 x\y 1 0 1 1/10 3/10 0 3/10 3/10 求X、Y的边缘分布律。 解： x\y 1 0 pi. 1 1/10 3/10 0 3/10 3/10 p.j 故关于X和Y的分布律分别为： X 1 0 Y 1 0 P 2/5 3/5 P 2/5 3/5 2/5 3/5 2/5 3/5 边缘分布律－An Example 贝叶斯公式 若事件B只能与两两互不相容的事件A1, A2, …An , … 之一同时发生，即 则 先验概率 后验概率 贝叶斯简介 Thomas Bayes： 1702年出生于伦敦贝叶斯，英国数学家（做过神甫）。 他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。 他对统计推理的主要贡献是使用了“逆概率”这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。 贝叶斯公式是他在1763年提出来的： 假定A1,A2,……是某个过程的若干可能的前提，则P(Ai)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率.如果这个过程得到了一个结果B，那么贝叶斯公式提供了我们根据B的出现而对前提条件做出新评价的方法.P(Ai∣B)既是对前提Ai的出现概率的重新认识，称 P(Ai∣B)为后验概率.经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及国民经济的许多领域中有着广泛应用。 贝叶斯决策理论 The Bayesian Theory 给定数据D和模型M P(M |D) = P(D |M) P(M)/ P(D) 给定观察到的数据D ，在概念空间中找一个最有可能的概念作为目标概念。 Maximum a posteriori (MAP) hypothesis 等价于 后验 (posterior) 等于 似然 (likelihood) 乘先验(prior)以及附加一常量 贝叶斯决策理论－应用 分类 医疗诊断的例子 更多内容在下一次课程 归纳偏好 解释奥克马准则 Bayes Learning - An Example C = {健康，感冒，过敏} f1 = 打喷嚏; f2 = 咳嗽; f3 = 发烧 概率 健康 感冒 过敏 P(ci) 0.9 0.05 0.05 P(打喷嚏|ci) 0.1 0.9 0.9 P(咳嗽|ci)