一种基于Hadoop平台的聚类.ppt

打开目录 基于Mapreduce的K-means并行算法的具体实现思想 Reduce Iteration1 经过Shuffle阶段后，三个reducer分别收到 Reducer-0： cluster-0, 【1, (1, 2)】 Reducer-1： cluster-1, 【1, (2, 2)】 Reducer-2： cluster-2, 【4, (6, 8.75)】 cluster-2, 【5, (13.6, 10)】 打开目录 基于Mapreduce的K-means并行算法的具体实现思想 Reduce Iteration1 经过Shuffle阶段后，三个reducer分别收到 Reducer-0： cluster-0, 【1, (1, 2)】 Reducer-1： cluster-1, 【1, (2, 2)】 Reducer-2： cluster-2, 【4, (6, 8.75)】 cluster-2, 【5, (13.6, 10)】 打开目录 基于Mapreduce的K-means并行算法的具体实现思想 Reduce Iteration1 计算可得： cluster-0的中心 =(1, 2) cluster-1的中心 =(2, 2) cluster-2的中心 = =(10.22, 9.44) 打开目录 基于Mapreduce的K-means并行算法的具体实现思想 Reduce Iteration1 计算可得： cluster-0的中心 =(1, 2) cluster-1的中心 =(2, 2) cluster-2的中心 = =(10.22, 9.44) 打开目录 基于Mapreduce的K-means并行算法的具体实现思想 Reduce Iteration1 迭代次数 1 Cluster id cluster中心 # of data points assigned cluster-0 x1(1,2) 1 cluster-1 x2(2,2) 1 cluster-2 x3(10.22,9.44) 9 打开目录 基于Mapreduce的K-means并行算法的具体实现思想 Reduce Iteration1 迭代次数 1 Cluster id cluster中心 # of data points assigned cluster-0 x1(1,2) 1 cluster-1 x2(2,2) 1 cluster-2 x3(10.22,9.44) 9 打开目录 基于Mapreduce的K-means并行算法的具体实现思想 * 打开目录 K-means聚类算法分析 K-means算法的核心思想是把n个数据对象划分为k个聚类,使每个聚类中的数据点到该聚类中心的平方和最小,算法处理过程： 输入：聚类个数k,包含n个数据对象的数据集. 输出：k个聚类. (1)从n个数据对象中任意选取k个对象作为初始的聚类中心. (2)分别计算每个对象到各个聚类中心的距离,把对象分配到距离最近的聚类中. (3)所有对象分配完成后,重新计算k个聚类的中心. (4)与前一次计算得到的k个聚类中心比较,如果聚类中心发生变化,转(2),否则转(5). (5)输出聚类结果. 打开目录 K-means聚类算法分析 K-means算法的核心思想是把n个数据对象划分为k个聚类,使每个聚类中的数据点到该聚类中心的平方和最小,算法处理过程： 输入：聚类个数k,包含n个数据对象的数据集. 输出：k个聚类. (1)从n个数据对象中任意选取k个对象作为初始的聚类中心. (2)分别计算每个对象到各个聚类中心的距离,把对象分配到距离最近的聚类中. (3)所有对象分配完成后,重新计算k个聚类的中心. (4)与前一次计算得到的k个聚类中心比较,如果聚类中心发生变化,转(2),否则转(5). (5)输出聚类结果. 流程图 数据分布 最终结果 第一次迭代 打开目录 K-means聚类并行原理分析 设分布式系统中有p个站点,从中任意选定一个站点Sm为主站点,其余p-1个站点为从站点.首先在主站点随机产生k个聚簇中心作为全局初始聚簇中心,并将其广播给所有从站点；各站点根据这些中心确认本站数据对象所属聚簇,并通过公式得到局部聚簇中心,同时,从站点将本站点的局部聚簇中心点及相应簇的数据对象总数传送给主站点；主站点根据这些聚簇信息计算全局聚簇中心.迭代上述过程,直到全局判别函数E值稳定,也即全局聚簇中心稳定 打开目录 K-means聚类并行原理分析 设分布式系统中有p