《聚类分析AIPR》-精选·课件.ppt

选择性模糊聚类分析算法 高新波（Xinbo Gao） 西安电子科技大学电子工程学院 /faculty/xbgao 2006.10.10 FCM算法的研究方向 聚类趋势研究 数据的可分性研究 基于抽样的假设检验方法 聚类分析研究 传统优化算法 智能计算的方法 与核函数的结合 与流形学习的结合 聚类有效性研究 加权指数的优选 聚类类别数的自动确定 THANK YOU 如何构造好的集成 期望结果 个体1 (精度33.3%) 个体2 (精度33.3%) 个体3 (精度33.3%) 集成(精度33.3%) 投票 个体必须有差异 期望结果 个体1 (精度33.3%) 个体2 (精度33.3%) 个体3 (精度33.3%) 集成 (精度0%) 投票 个体精度不能太低 个体学习器越精确、差异越大，集成越好 [A. Krogh J. Vedelsby, NIPS94] 选择性集成 既然多个个体的集成比单个个体更好，那么是不是个体越多越好? 更多的个体意味着： 在预测时需要更大的计算开销，因为要计算更多的个体预测 更大的存储开销，因为有更多的个体需要保存 个体的增加将使得个体间的差异越来越难以获得 Many Could be Better Than All：在有一组个体学习器可用时，从中选择一部分进行集成，可能比用所有个体学习器进行集成更好。 [Z.-H. Zhou et al., AIJ02] Bagging算法 Breiman L. Bagging predicators. Machine Learning, 1996,24(2):123?140. 集成学习算法Bagging：在训练阶段，各学习器的训练集由原始训练集利用可重复取样(bootstrap sampling)技术获得，训练集的规模通常与原始训练集相当。这样，原始训练集中某些示例可能在新的训练集中出现多次，而另外一些示例则可能一次也不出现。 研究表明，Bagging 可以显著提高不稳定的基学习器的泛化能力。 Bagging 算法和其他大多数的集成学习算法都是为监督学习而设计的，对聚类这样的非监督学习来说，由于训练样本缺乏类别标记，聚类结果之间没有直接的对应关系，这将使得对个体学习器的结合难以直接进行。 选择性聚类集成 Breiman L. Bagging predicators. Machine Learning, 1996,24(2):123?140. 集成学习一般包含两个阶段： 个体生成阶段：通过不同的个体生成方式产生不同的个体标记向量。 个体学习器结合阶段：可以采用投票等方式将个体标记向量进行结合。 聚类分析集成学习： 个体生成阶段： （1）采用类似Bagging 算法中产生个体训练集的方式产生用于聚类的训 练集，即通过可重复取样技术从原向量集中产生若干训练集； （2）对每个训练集用FCM算法进行分析，获得聚类中心； （3）利用所得到的聚类中心对原向量集分别进行标记，获得标记向量。 选择性聚类集成 唐伟，周志华，基于Bagging的选择性聚类集成，软件学报，16(4): 496-502, 2005 注意：得到的标记向量由于缺乏先验的类别信息，并不能直接用于下一 阶段的结论合成。 例如：[1，2，2，1，1，3，3]，[2，3，3，2，2，1，1] 为了对聚类结果进行结合，个体标记向量必须经过匹配建立相互之间的对应关系。 个体学习器结合阶段：基于权值的选择性投票策略 聚类标记向量间的互信息在某种程度上能够刻画聚类个体间的紧密程度，利用互信息来表示个体标记向量的权值将有助于得到更好的集成结论。 OUTLINE Introduction Fuzzy c-Means Algorithm (FCM) Feature Selected FCM Algorithm Sample Selected FCM Algorithm FCM Algorithm Selective Ensemble Concluding Remarks References Concluding Remarks FCM算法具有完善的理论基础和广泛的应用前景； 对其加以适当的改造和修正将进一步扩展其应用范围； FCM聚类分析的选择性研究：特征、样本、算法集成； 从FCM算法选择性研究中获得的启示： 应用驱动理论研究 放宽算法的基本假设会带来更多的创新成果 它山之石可以攻玉 OUTLINE Introduction Fuzzy c-Means Algorithm (FCM) Feature Selected FCM Algorithm Sample Selected FCM Algorithm FCM Algorithm