6 贝叶斯网络学习.pptxVIP

从数据中学习贝叶斯网络 Anders L. Madsen HUGIN EXPERT A/S March 2012 大纲 贝叶斯网络的构建 参数学习 序列学习 结构学习 2 从数据中学习贝叶斯网络 贝叶斯网络包含了一个图形结构(DAG)和一组条件概率表(CPTs -参数) 贝叶斯网络的构建是作为一个劳动密集型知识获取工具 这种够构造可以是自动或半自动的(根据数据库中的案例和专家知识) 学习结构框架 学习一批概率事件 学习连续概率 3 学习一个贝叶斯网络 诱导结构的图形表示 数据和专家知识的融合 估算参量 数据和专家知识的融合 4 胸部诊所 呼吸短促(D)可能是由于肺结核（T）、肺癌（L）、支气管炎(B)引起，或者都不相关,也可能跟它们不止一个相关 近期去亚洲出差(A)增加了得肺结核的可能,而抽烟(S)对于肺癌和支气管炎是一种已知的危险因素 单一的胸部X光片(X)的结果并没有区分肺癌和肺结核，也不能够知道有没有呼吸困难A 5 参数估计 参数的学习是通过识别的CPTsP的贝叶斯网络N =(G,P) 理论思考,数据库案例,主观评估 CPTs建立在数据库的案例基础之上 数据库案例：D = { c1,…,cN } 一些案例中可能会有遗漏一些值 CPTs通过最大似然估计进行评估 n是Y=y在案例中的期望值 6 参数估计 近期去过亚洲患有肺结核的概率是多少? n(最近去过亚洲) = n(A = y) = 92, n(最近去过亚洲并且已患有肺结核) = n(A = y, T = y) = 5: 7 参数估计 优先的(领域专家）知识可以被利用 经验是已经观察到 pa(Xi ) = j 时间上的量级： 经验计算作为正数αj 0 也用于打开或者关闭这种学习模式 利用先验知识同时加速和引导学习有哪些信誉好的足球投注网站全局的最优值 当丢失一个标准值时就会利用期望值计算 包括参数不出现在数据中 8 期望最大化算法 EM算法是一种利用目前的估计值作为真值的迭代过程 重复 预计期望的计算 θ:n∗(W)=Eθ{n(W)|||D} 计算新的估计值θ: 直到满足迭代标准停止计算 算法的控制参数是: 根据经验计算初始化参数值 停止准则:满足公差标准及迭代的最大次数 9 质量模型 我们可以利用模型可能给出的数据进行质量检测数据: 这个质量检测不需要对复杂的模型进行解释，由于过度捏合也不用来进行模型的选择 EM算法停止计算标准: 10 AIC和BIC分数 AIC和BIC是将模型的复杂性考虑进去的质量评估 Akaike信息准则(AIC) d为模型中若干的自由参数 d的存在制约了模型的复杂性 贝叶斯信息准则的标准(BIC) d 为模型中若干的自由参数 −d/2 log(N) 限制了模型的复杂性 除非log(N) 2， AIC BIC 11 序列的学习 某些特定的结构,但是要有适应特别环境的可能性 循序渐进更新贝叶斯网络的任务 应用于不同的设置、模型不确定性、随着时间的推移等 CPTs更新基于插入和观察的传播 通常有许多遗漏值 12 渐消因子/经验值 已经观察到经验随时间pa(Xi ) = j变化的次数 (样本大小) 经验值为正数αj 0 也用于开始/结束学习 衰落的影响因素在一定程度上降低了过去的一些经验 衰弱因素是接近1的正数 Hugin渐消是根据 13 序列的学习 这样的分布假设可以进行独立改进: 整体独立性:二阶不确定度的变量是独立的 局部独立性:二阶不确定度不同来源配置也是独立的 样本量越大，二阶的不确定性就越小 14 结构的学习 这项任务是识别问题域实体之间的依赖关系 目的是为了构建一个简单的模型,但一个困难的任务是: 可能的空间结构不仅巨大而且只能近似: 许多不同的结构编码运用一组独立或者是相关的声明（等价类) 可能有隐藏的变量 15 结构的学习 贝叶斯网络的图表引发了一系列相关或者独立的说明 16 等价模型 M1和M2两个模型在统计上是等价的，当且仅当它们包含了同一套变量及共同样本时，并且通过它们提供连续不断的非统计组合 任何两个通过相同的一组变量的M1和M2模型,它们的图表对具有相同的骨架图和相同的v型结构来说是等价的 A→B→C 和 A←B←C 和 A←B→C 所有完整的模型 因此,我们无法区别 A→B→C和A←B←C和 A←B→C仅仅是基于数据 可以从A → B ← C区分 17 等价分类 一个等价分类类是具有相同的一组独立性质的一个最大系列集合 I, II, 和 III 代表了在独立与相关关系条件下的类似的序列 如果结构从数据中获得鉴定，来自相同等价类的Gi与 Gj 不能够被区分 18 结构的学习 结构学习算法： 1 独立执行测试 2 确定图表结构 3 识别对撞机 4 识别派生的方向