数据挖掘第七章__聚类分析.ppt

CLARA算法 （1）for i=1 to 5 (2)随机地从整个数据集中抽取一个40+2k个对象的样本，调用算法PAM找出样本的k个中心点 （3）对于整个数据集中的每一个对象Oj, 判断K个中心点的哪一个与Oj 是相似的 （4）计算聚类的平均非相似性。若该值小于当前的最小值，则用其替换当前最小值，保留k个中心点 （5）开始下一轮循环 CLARA算法能够处理大规模数据集，而它的每次循环(计算)复杂度为 O(ks2+k(n-k))， 其中，s为样本集合大小，k为聚类个数，n为对象总数。 CLARA算法的有效性依赖其所选择的样本集合大小；PAM方法从给定的数据集中有哪些信誉好的足球投注网站最好的k个聚类中心(对象)；CLARA算法则从所采样的数据样本集中有哪些信誉好的足球投注网站最好的是个聚类中心(对象)。如果样本集中的聚类中心不是(整个数据集中)最好的k个聚类中心，那么CLARA算法就无法发现最好的聚类结果,这也就是对效率和精度的折衷。 另一个k-medoids聚类算法类型的聚类方法，称为CLARANS------- Clustering Large Application based upon RANdomized Search（基于随机有哪些信誉好的足球投注网站的聚类算法） 将采样方法与PAM方法结合起来。但CLARANS方法与CLARA算法不同，CLARANS方法并不总是仅对样本数据集进行分析处理；CLARANS法在有哪些信誉好的足球投注网站的每一步都以某种随机方式进行采样(而CLARA算法有哪些信誉好的足球投注网站每一步所处理的数据样本是固定的)。 CLARANS方法的有哪些信誉好的足球投注网站过程可以描述成一个图，图中每个结点度代表潜在的解决方案(一组聚类中心代表)，替换一个中心对象所获得新聚类就称为当前聚类的邻居。 随机产生的聚类邻居数由用户所设置的参数所限制。若发现一个更好的邻居(具有较低的方差)，CLARANS方法移动到这一邻居结点，然后再开始有哪些信誉好的足球投注网站，否则当前结点就形成了一个局部最优。若发现局部最优，CLARANS方法则随机选择一个结点以便重新开始有哪些信誉好的足球投注网站(一个新的局部最优)。 五、模糊聚类算法FCM 以上介绍的几种聚类方法为“确定性分类” ，也就是说，一个数据点或者属于一个类，或者不属于一个类，而不存在重叠的情况。 在一些没有确定支持的情况中，聚类可以引入模糊逻辑概念。对于模糊集来说，一个数据点都是以一定程度属于某个类，也可以同时以不同的程度属于几个类。常用的模糊聚类算法是模糊C平均值FCM（Fuzzy C-Means）算法。 FCM算法采用误差平方和函数作为聚类准则函数： (7--10) 其中， 为第k个数据点到第个i聚类中心的距离，n为样本数；c为给定的类别数，并且 1cn m称为加权幂指数，是一个可以控制聚类结果的模糊程度的常数 ； vi为第i类的聚类中心；μ ij表示样本j属于第i类的程度， 满足 FCM算法就是要求J使达到最小值的聚类结果。因此将分别对μ ik vi求导，令它们的导数为0，并代入条件： 得： (7---11) (7---12) FCM算法是通过对(7--11)式和(7---12)式进行迭代来完成的，不断调整μ ik , vi ，求得使目标函数Jm(μ, v)最小的解 (μ ik , vi )，即为最佳模糊C聚类。 六、 各种聚类方法的比较 划分方法是优化一个评价函数来把数据集分成k个部分(k-means, k-mediod) k-prototypes结合k-means和k-modes的优点 RAM是基于k-mediod的聚类方法,计算复杂度是O(K(N-K))2 CLARA方法改进了PAM方法,提高了效率 CLARANS采用随机有哪些信誉好的足球投注网站方式改进 k-mediod ,但计算复杂度O(KN2) 分层聚类由不同层次的分割聚类组成,层次之间的分割具有嵌套关系,不必事先输入聚类块数 BIRCH(利用层次方法的平衡迭代归约和聚类) 利用CF-树的分层数据结构动态对输入数据进行分类(O(N)), 该方法可以处理数据噪声,但对输入数据比较敏感 密度聚类法利用密度函数进行聚类. DBSCAN算法 （基于高密度连接区域的密度聚类方法）,它用R*树对任意形状的数据进行聚类,可以过滤噪声,计算复杂度O(NlogN) 网格聚类法利用空间量子化方法把数据