机器学习__GMM算法.pptxVIP

GMM聚类 高斯分布公式（1）n 维样本空间中的随机向量 x 若服从高斯分布其概率密度函数为：公式（2） 高斯混合分布公式（3）高斯混合分布：?? 高斯混合聚类?数据集：?贝叶斯理论对照???高斯混合模型：公式（4）?? 高斯混合聚类?高斯混合模型：极大似然函数求偏导=0 高斯混合聚类?高斯混合模型：极大似然函数求偏导=0?求偏导=0 高斯混合聚类选择高斯模型个数K，初始化参数。迭代运行E步和M步，直到满足终止条件 （1）E步：求出zj的后验分布概率 （2）M步：更新模型参数对样本进行标记，确定簇的划分?? class sklearn.mixture.GaussianMixture(n_components=1, covariance_type=full, tol=0.001, reg_covar=1e-06, max_iter=100, n_init=1, init_params=kmeans, weights_init=None, means_init=None, precisions_init=None, random_state=None, warm_start=False,verbose=0, verbose_interval=10) 高斯混合聚类# 混合高斯模型个数，默认为 1?# 协方差类型，包括 {‘full’,‘tied’, ‘diag’, ‘spherical’} 四种# EM 迭代停止阈值，默认为 1e-3??# 最大迭代次数，默认 100# 初始化参数实现方式，默认用 kmeans 实现，也可以选择随机产生 高斯混合聚类原始数据集from sklearn.datasets import make_moons混合高斯模型个数为2gmm2 = GMM(n_components=2, covariance_type=full, random_state=0)混合高斯模型个数为10gmm2 = GMM(n_components=10, covariance_type=full, random_state=0)GMM算法，不同k值的比较 高斯混合聚类GMM算法，确定最优高斯混合成分个数kAIC：10个BIC：6个，倾向于更简单的模型模型中封装了Akaike information criterion (AIC) 或 Bayesian information criterion (BIC)两种评价方法。 高斯混合聚类GMM算法，不同协方差类型参数选择比较full ：每个高斯成分有各自不同的标准协方差矩阵，完全协方差矩阵（元素都不为零）tied ：所有成分有相同的标准协方差矩阵diag ：每个成分有各自不同对角协方差矩阵（非对角为零，对角不为零）spherical ：每个成分有各自不同的简单协方差矩阵，球面协方差矩阵（非对角为零，对角完全相同，球面特性）， 高斯混合聚类GMM算法，不同协方差类型、成分个数参数选择比较 THANKS