贝叶斯算法PPT讲述.ppt

* 贝叶斯网络的研究现状 20世纪80年代，随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯理论的发展和应用提供了更为广阔的空间。Pearl等于1988年提出贝叶斯网络，并将贝叶斯网络成功地应用于专家系统，成为不确定专家知识和推理的流行方法，90年代进一步研究可学习的贝叶斯网络，用于数据采掘和机器学习，近年来，贝叶斯学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包括因果推理、不确定性知识表达、模式识别和聚类分析等。并且出现了专门研究贝叶斯理论的组织和学术刊物ISBA。随着人工智能的发展，贝叶斯理论的内涵也比以前有了很大的变化。 目前，贝叶斯网络研究领域主要集中在以下四个方面：贝叶斯网络的学习、利用贝叶斯网络进行推理，计算和基于贝叶斯网络的应用。 2.2贝叶斯网络的学习 1. 结构学习：发现变量之间的图关系 2 .参数学习：决定变量之间互相关联的量化关系 贝叶斯网络结构学习 结构学习是利用训练样本集，尽可能结合先验知识，确定和样本数据集合D匹配最好的的贝叶斯网络拓扑结构；对于含有n个变量的数据集进行网络结构学习，可能的结构数目为： 因此贝叶斯网络结构的学习是一个NP难问题。 在计算机学科中，存在多项式时间的算法的一类问题，称之为P类问题；而像梵塔问题、推销员旅行问题、（命题表达式）可满足问题这类，至今没有找到多项式时间算法解的一类问题，称之为NP类问题。 目前贝叶斯网络结构学习方法主要分成两类：基于有哪些信誉好的足球投注网站和评分的方法(score and search method）；基于约束的方法(constraint-based method). 基于评分和有哪些信誉好的足球投注网站的方法 将结构学习视为结构优化的过程，即利用一个评分函数寻找与样本数据匹配程度最高的网络结构 ，即 主要由两部分组成：评分函数和空间有哪些信誉好的足球投注网站策略 该算法的主要思想是从一个给定的网络出发(比如一个没有任何弧的网络),利用有哪些信誉好的足球投注网站方法对该网络进行一些操作(增加边，删除边，逆转边的方向)，根据评分函数对网络进行评分，计算这一操作对网络评分函数的贡献度，检验新的网络结构是否优于旧的网络结构，如果优于则保留新加入的边并继续该操作，直到找到得分最大的网络结构作为最优的网络结构。 主要的评分函数和有哪些信誉好的足球投注网站机制 评分函数：最早是由Cooper and Herskovits等人在1992年提出的K2评分函数，K2评分函数假设观测到的数据是完备的，且服从多项式分布： 基于K2评分函数，Heckerman等人在1995年，假设观测数据服从Dirichlet分布，给出了BD评分函数： 主要的有哪些信誉好的足球投注网站机制：贪婪有哪些信誉好的足球投注网站、模拟退火、最优最先有哪些信誉好的足球投注网站、基于智能优化的有哪些信誉好的足球投注网站等 经典算法—— K2算法 1992年，Cooper和Herskovits建立了著名的基于贝叶斯评分函数（Bayesian score）和爬山法有哪些信誉好的足球投注网站策略的K2算法。K2算法要求事先确定节点的次序，应用贝叶斯评分，通过不断向网络中增加能提高评分函数的边的贪婪有哪些信誉好的足球投注网站方法发现最评分最高的的信念网络结构，找出最佳网络结构。K2算法是结合先验信息进行贝叶斯网络结构学习的一个有实际意义的重要算法，在整个贝叶斯网络结构学习算法的研究发展过程中占有重要地位。 K2 算法使用后验概率作为评分函数： 其中 贪婪有哪些信誉好的足球投注网站 K2算法描述 Procedure K2 For i:=1 to n do ?i = ?; Pold = g(i, ?i ); OKToProceed := true while OKToProceed and | ?i |u do let z be the node in Pred(xi)- ?i that maximizes g(i, ?i ?{z}); Pnew = g(i, ?i ?{z}); if Pnew Pold then Pold := Pnew ; ?i :=?i ?{z} ; else OKToProceed := false; end {while} write(“Node:”, “parents of this nodes :”, ?i ); end {for} end {K2} K2的出发点是一个包含所有节点、但却没有边的无向图。在有哪些信誉好的足球投注网站过程中，K2按顺序逐个考察 中的变量，确定其父亲节点，然后添加相应的边。对某一变量 ，假设K2已经找到了它的一些父亲节点 。如果 父亲节点个数还未达到上界 ，那么就要继续为它寻找父节点，具体做法是首先考虑哪些在 p中排在xj 之前，但却还不是 xj的父亲节点的变量，从这些变量中选出 ，它使得新家族CH评分 达到最大；然后将 新家族与旧家族评分比较：如果评分高 ，则把 添加