云环境下基于二维节点矩阵的分级多表连接.PDF

小 型 微 型 计 算 机 系 统 2014年5月 第5期 JournalofChineseComputerSystems VOl_35 No．5 2014 云环境下基于二维节点矩阵的分级多表连接 陶永才 ，周梦雪 ，石 磊 ，卫 琳 ，曹仰杰 (郑州大学 信息工程学院，郑州450001) (郑州大学软件技术学院，郑州450002) E—mail：ieyctao@ ZZU．edu．ca 摘 要：随着 “大数据”时代的到来，分布式数据处理得到了广泛的应用和发展．在基于云计算的海量数据处理中，复杂处理要 求逐渐增多，数据分析通常需要跨越多个数据集，因此亟需高效的多表连接机制．现有的基于MapReduce的多表连接机制多采 用串行级联方式实现多个不同数据集连接 ，操作灵活但效率不高．本文在分析现有并行连接模型的基础上，提 出基于二维节点 矩阵的分级多表连接模型TD—HMJ．TD—HMJ在一次Map过程中处理全部连接属性，Reduce过程建立二维节点矩阵实现多组3 (或2)表并行连接，并通过多级Reduce过程实现多组间连接．理论分析和实验表明TD-HMJ减少了数据传输量，缩短 了多表连 接时间，提高了连接效率． 关 键 词：MapReduce；海量数据；云计算；多表连接 中图分类号：TP31l 文献标识码 ：A 文 章 编号 ：1000-1220(2014)05-0945-06 Two-dimensionNodeMatrixBasedHierarchizedMulti-joininCloudEnvironment TAO Yong—cai，ZHOU Meng—xue ，SHILei，WEILin2。 CAOYang-jie 。(SchoolofInformationEngineering，ZhengzhouUniversity，Zhengzhou450001，China) (SchoolofSoftware。ZhengzhouUniversity，Zhengzhou450002。China) Abstract：W ithhtecomingofbigdataage，distributeddataprocessinghasachievedawiderangeofappficationsanddevelopment．In cloudcomputing，complexprocessingrequirementsgraduallyincrease，naddataanalysisalwaysspansmultipledaat sets。htereforeit hasna urgentneedforhigheffectivemechanisminmulti-joins．ExistingMapReduce—basedmulti-joinmechanismsimplementthejoin ofmultipledatasetsviacascademehtod。whichisflexiblebutpoorefficiency．Thepapernaalyzesexistingconcurrentjoinmodelnad proposesatwo—dimensionnodematrixbasedhierarchizedmulti-joinmodel(TD—HMJ)．TD·HMJhandlesallkeypropertiesinone M印 process．InReduceprocess，itimplementsseveralgroupsof3(or2)一tablejoinbyesatblishingatwo—dimensionalReducenode matrixnadfinishesthejoinbetweengroupsthroughmulti—levelReduceprocesses．Theoreticalnaalysisesnadexperimentsshowhtat TD—HMJdecreasesdatatransmission。curtailshtetimeofmulti~oin，nadincreaseshtesystemefficiency． Keywords：MapReduce；massdata；cloudcomputing；multi~oin 1 引 言