机器学习（MATLAB版）ch11-EM算法与高斯混合聚类 教学课件.pptxVIP

EM算法与高斯混合聚类新工科建设之路·人工智能系列教材机器学习(MATLAB 版)第十一章 01高斯混合模型 高斯混合模型当m=1时，式(11.1)化为一维高斯分布。图 11.1(a) 是一维标准高斯分布的概率密度函数曲线。在MATLAB 中用函数 normpdf(·，·，·)可计算一维高斯分布的概率密度函数的值，而用函数 mvmpdf(·，·，·)可计算多维高斯分布的概率密度函数的值。图 11.1(b)是二维高斯分布的概率密度函数曲面，它是一个“钟形”的曲面，投影到 ay 轴上的坐标表示二维变量的取值，而曲面上的点对应的 值表示两个变量的联合概率。 高斯混合模型下面来定义高斯混合模型(Gaussian Mixture Model,GMM)。 高斯混合模型GMM 通过多个高斯分布的加权和来描述一个随机向量的概率分布，概率密度函数定义为: 高斯混合模型 高斯混合模型上述模型通常采用 EM 算法进行选代优化求解。简要说明一下:由于上述模型的对数函数中有k个求和项以及 wj的存在，无法像单高斯分布那样求得公式解。采用梯度下降法或牛顿法进行迭代求解也不合适，因为这是一个具有等式约束的最优化问题。从另一个角度来看，由于每个样本属于哪个高斯分布是未知的，而计算高斯分布的均值和协方差时需要用到这个信息。反过来，某个样本属于哪个高斯分布又由高斯分布的均值和协方差所确定。因此，模型中存在循环依赖，解决的办法是打破这种循环依赖，从所有高斯成分的一个随机初始权重值开始，计算样本属于每个高斯分布的概率，再根据这个概率更新每个高斯分布的均值和协方差，而 EM 算法的求解正好采用了这种思路。 02EM算法的推导 EM算法的推导EM 算法是一种迭代算法，它可以同时计算出每个样本所属的簇以及每个簇的概率分布参数。如果已知要聚类的数据服从它所属簇的概率分布，则可以通过计算每个簇的概率分布和每个样本所属的簇来完成聚类。由于计算每个簇概率分布的参数需要知道哪些样本属于这个簇，而确定每个样本属于哪个簇又需要知道每个簇的概率分布参数，因此 EM算法在每次迭代时交替地执行 E步和M步来解决这两类问题。EM 算法是一种从“不完全数据”中求解模型参数的极大似然估计方法。“不完全数据”一般分为两种情况:一种是由于观测过程本身的限制或错误造成观测数据成为错漏的不完全数据;另一种是参数的似然函数直接优化十分困难，而引入额外的参数(隐含的或丢失的)后就比较容易优化，于是定义原始观测数据加上额外数据组成“完全数据”，原始观测数据自然就成为“不完全数据”。 EM算法的推导EM 算法的目标是求解似然函数或后验概率的极值，而目标函数中具有无法观测的隐变量。例如，有一批样本分属于三个类，每个类都服从高斯分布，但均值和协方差这两个参数都是未知的，并且每个样本属于哪个类也是未知的，需要在这种情况下估计出每个高斯分布的均值和协方差。那么样本所属的类别就是隐变量，正是这种隐变量的存在导致了用极大似然估计法求解的困难。 EM算法的推导EM 算法的理论推导需要用到 Jensen 不等式。 EM算法的推导引理 11.1(Jensen 不等式)设 f 是一个凸函数， z是一个随机变量，则有: EM算法的推导 EM算法的推导 EM算法的推导 EM算法的推导 EM算法的推导应当指出，EM 算法作为一种数据添加算法，在近几十年得到了迅速的发展。这是由于当前科学研究及各方面实际应用中的数据量越来越大，经常存在数据缺失或不可用的问题，此时如果直接处理数据一般是比较困难的。虽然数据添加方法有很多种，但 EM 算法具有算法简单、能可靠地找到极大值或局部极大值等优点，所以得到了迅速普及。随着机器学习理论的发展，EM 算法已经不再满足于处理缺失数据问题了，它所能处理的问题越来越广泛。有时候并非真的是数据缺失，而是为了简化问题所采取的策略，这时算法被称为数据添加技术。一个复杂的问题通过引入恰当的潜在数据往往能够得到有效的解决。 03EM算法的应用 EM算法的应用 EM算法的应用 EM算法的应用 EM算法的应用上面的推导分别应用了贝叶斯公式和全概率公式，而且最后一个等式利用了式(11.9) 和式(11.10)。注意，qij 根据当前的参数值选代计算，是一个常数。M 步:最大化对数似然函数: EM算法的应用将其代入式(11.13)，得: EM算法的应用 EM算法的应用上面第二个等式利用了矩阵求导公式:利用矩阵行列式求导公式: EM算法的应用可将式(11.16)化为:由上式解得: EM算法的应用可以构造拉格朗日函数:由 KKT 条件可得:由此可得: EM算法的应用代入式(11.18)得: EM算法的应用利用 EM 算法的核心就是实现上面两步中公式的计算，然后反复迭代，直至收敛，就可以得到高斯混合模型的全部参数。 EM算法的应用算法