机器学习汇总课件.ppt

条件独立性 精确定义条件独立性 令X, Y和Z为3个离散值随机变量，当给定Z值时X服从的概率分布独立于Y的值，称X在给定Z时条件独立于Y，即 上式通常简写成P(X|Y,Z)=P(X|Z) 扩展到变量集合 下面等式成立时，称变量集合X1...Xl在给定变量集合Z1...Zn时条件独立于变量集合Y1...Ym 条件独立性与朴素贝叶斯分类器的之间的关系 贝叶斯信念网的表示 贝叶斯信念网（简称贝叶斯网）表示一组变量的联合概率分布 一般地说，贝叶斯网表示联合概率分布的方法是指定一组条件独立性假定（有向无环图）以及一组局部条件概率集合 下页图，联合空间中每个变量在贝叶斯网中表示为一个节点，每个变量需要两种类型的信息 网络弧表示断言“此变量在给定其直接前驱时条件独立于其非后继” 每个变量有一个条件概率表，描述了该变量在给定其立即前驱时的概率分布 Storm BusTourGroup Lightning Thunder ForestFire Campfire S,B S,┐B ┐S,B ┐S,┐B C 0.4 0.1 0.8 0.2 ┐C 0.6 0.9 0.2 0.8 Campfire 贝叶斯信念网的表示（2） 对网络变量的元组Y1...Yn赋以所希望的值(y1...yn)的联合概率计算公式如下： 所有变量的局部条件概率表以及由网络所描述的一组条件独立假定，描述了该网络的整个联合概率分布 贝叶斯信念网的推理 可以用贝叶斯网在给定其它变量的观察值时推理出某些目标变量的值 由于所处理的是随机变量，所以一般不会赋予目标变量一个确切的值 真正需要推理的是目标变量的概率分布，它指定了在给予其他变量的观察值条件下，目标变量取每一个可能值的概率 在网络中所有其它变量都确切知道的情况下，这一推理步骤很简单 一般来说，贝叶斯网络可用于在知道某些变量的值或分布时计算网络中另一部分变量的概率分布 学习贝叶斯信念网 从训练数据中学到贝叶斯信念网，有多种讨论的框架： 网络结构可以预先给出，或由训练数据中得到 所有的网络变量可以直接从每个训练样例中观察到，或某些变量不能观察到 如果网络结构已知且变量可以从训练样例中完全获得，那么得到条件概率表就比较简单； 如果网络结构已知，但只有一部分变量值能在数据中观察到，学习问题就困难多了。这类似于在人工神经网络中学习隐层单元的权值； Russell（1995）提出了一个简单的梯度上升过程以学习条件概率表中的项，相当于对表项有哪些信誉好的足球投注网站极大似然假设。 贝叶斯网的梯度上升训练 令wijk代表条件概率表的一个表项，即在给定父节点Ui取值uik时，网络变量Yi值为yij的概率 例如图6-3，wijk为最右上方的表项，那么Yi为变量Campfire，Ui是其父节点的元组Storm, BusTourGroup，yij=True，且uik=False, False S,B S,┐B ┐S,B ┐S,┐B C 0.4 0.1 0.8 0.2 ┐C 0.6 0.9 0.2 0.8 Campfire 贝叶斯网的梯度上升训练（2） lnP(D|h)的梯度由对每个wijk求导数得到 例如，为计算图6-3中表右上方的表项的lnP(D|h)的导数，需要对D中每个训练样例d计算P(Campfire=True, Storm=False, BusTourGroup=False|d) 当训练样例中无法观察到这些变量时，这些概率可用标准的贝叶斯网从d中观察到的变量中推理得到 这些量能够很容易地从贝叶斯网推理过程中得到，几乎不需要附加的开销 (6.25) 贝叶斯网的梯度上升训练（3） 式子6.25的推导 用Ph(D)来表示P(D|h) 假定在数据集D中的各样例d都是独立抽取的 贝叶斯网的梯度上升训练（4） 更新权值 归一化处理，保持在区间[0,1]之间，且?jwijk对所有i,k保持为1 这个算法只保证找到局部最优解，替代梯度上升的一个算法是EM算法 学习贝叶斯网的结构 如果贝叶斯网的结构未知，那么需要学习贝叶斯网的结构 Cooper Herskovits提出了一个贝叶斯评分尺度，以便从不同网络中进行选择 Cooper Herskovits提出了算法K2，启发式算法，用于在数据完全可观察时学习网络结构 基于约束的学习贝叶斯网络结构：从数据中推导出独立和相关的关系，然后用这些关系来构造贝叶斯网 用于预测概率的极大似然假设 问题框架： 学习一个不确定性函数f: X?{0,1}，它有两个离散的值输出； 这种不可预测性来源于未能观察到的因素，导致目标函数的输出是输入的概率函数。 学习得到的神经网络（或其它实函数学习器）的输出是f(x)=1的概率，表示为： f’: X?[0,1]，即f’=P(f(x)=1) 用于预测概率的极大似然假设（2） Bru