AI2012春季Chap7.ppt

《人工智能》第7章学习智能体-贝叶斯学习 巢文涵 chaowenhan@ G1001/G931 北航计算机学院智能信息研究所 * 大纲 贝叶斯法则 贝叶斯法则和概念学习 朴素贝叶斯分类器 实例：文本分类 贝叶斯法则 贝叶斯推理提供了推理的一种概率手段 两个基本假设 a) 待考查的量遵循某概率分布 b) 可根据这些概率及已观察到的数据进行推理，以作出最优的决策 贝叶斯推理对机器学习十分重要 它为衡量多个假设的置信度提供了定量的方法 为直接操作概率的学习算法提供了基础 为其他算法的分析提供了理论框架 贝叶斯法则 概率学习系统的一般框架 贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设 最佳假设：在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设 贝叶斯理论提供了一种基于假设的先验概率、以及观察到的数据本身计算假设概率的方法 贝叶斯法则 基本术语 D ：训练数据 H : 假设空间 h : 假设 P(h)：假设h的先验概率(Prior Probability) 即没有训练数据前假设h拥有的初始概率 P(D)：训练数据的先验概率 即在没有确定某一假设成立时D的概率 P(D|h)：后验概率，在假设h成立的情况下，观察到D的概率 P(h|D)：后验概率，给定训练数据D时h成立的概率 贝叶斯法则 贝叶斯定理 后验概率正比于P(h)和P(D|h) 反比于P(D) D独立于h出现的概率越大，则D对h的支持度越小 贝叶斯公式是贝叶斯学习的基础，它提供了根据先验概率P(h)、P(D)以及观察概率P(D|h) ，计算后验概率P(h|D)的方法 贝叶斯法则 极大后验（maximum a posteriori, MAP)假设 给定数据D和H中假设的先验概率，具有最大后验概率的假设h 贝叶斯法则 极大似然假设(Maximum Liklihood,ML) 当H中的假设具有相同的先验概率时，给定h，使P(D|h)最大的假设hML： 贝叶斯法则 举例：一个天气估计问题 两个假设H: h1={晴天}、h2={非晴天} 可观察到的数据：温度高+和温度低- 先验知识p(h) 北京晴天的概率0.99： P(h1)=0.99 非晴天0.01： P(h2)=0.01 观察到的概率P(D|h)： P(温度高 | 晴天) = 0.85 P(温度低 | 非晴天) = 0.93 问题：现在观察到温度低，判断是否非晴天？ 贝叶斯法则 极大后验计算 P(非晴天 | 温度低) ∝P(温度低|非晴天)*P(温度低) = 0.93*0.01 = 0.0093 P(晴天 | 温度低) ∝ P(温度低|晴天)*P(温度高) = 0.15*0.99 = 0.1485 答案：晴天 贝叶斯法则 极大似然计算 P(非晴天 | 温度低) ∝ P(温度低|非晴天) = 0.93 P(晴天 | 温度低) ∝ P(温度低|晴天) = 0.15 答案：非晴天 贝叶斯法则 另一个例子：医疗诊断问题 两个假设H: h1={病人有癌症} h2={病人无癌症} 可观察数据为化验结果 ：?（正）和Θ（负） 先验知识：P(cancer)=0.008 观察数据： 问题：新来的病人的检查结果为?，应如何诊断？ 基本概率公式表 乘法规则：P(A?B)=P(A|B)P(B)=P(B|A)P(A) 加法规则：P(A?B)=P(A)+P(B)-P(A?B) 贝叶斯法则：P(h|D)=P(D|h)P(h)/P(D) 全概率法则：如果事件A1...An互斥，且满足 ，则 大纲 贝叶斯法则 贝叶斯法则和概念学习 朴素贝叶斯分类器 实例：文本分类 贝叶斯法则和概念学习 贝叶斯法则为计算给定训练数据下任一假设的后验概率提供了原则性方法 概念学习问题 定义在实例空间X上的有限的假设空间H，任务是学习某个目标概念c:X→{0,1} Brute-Force MAP学习算法 对于H中每个假设h，计算后验概率 输出有最高后验概率的假设 Brute-Force算法需要计算每个假设的后验概率，计算复杂度较高 MAP假设和一致学习器 假定 训练数据D是无噪声的，即di=c(xi) 目标概念c包含在假设空间H中 每个假设的概率相同 从而 由于所有假设的概率之和是1，因此 由于训练数据无噪声，那么给定假设h时，与h一致的D的概率为1，不一致的概率为0，因此 MAP假设和一致学习器 考虑Brute-Force MAP算法 h与D不一致 h与D一致 每个一致的假设都是MAP假设 MAP假设和一