基于Hadoop的电信频繁交往圈算法研究.pdf

ISSN1009-3044 E-mail:eduf@ ComputerKnowledgeandTechnology电脑知识与技术 第9卷第28期 (2013年10月) ComputerKnowledgeandTechnology电脑知识与技术 Vol.9,No.28,October2013. Tel:+86-55165690964 基于Hadoop的电信频繁交往圈算法研究 杨苗苗，李跃辉，刘静，许静 （南京邮电大学通信与信息工程学院，江苏南京210003） 摘要：通过研究电信社交网络的个人交往圈和客户群，结合有向图和无向图，采用邻接链表，挖掘极大团，提出基于Ma⁃ pReduce的频繁交往圈算法F-Graph，不仅找到频繁交往圈和客户群中的核心用户，同时减小了算法复杂度。利于运营商 做出更科学的决策，提高市场竞争力。 关键词：Hadoop；MapReduce；数据挖掘；极大团 中图分类号：TP301 文献标识码：A 文章编号：1009-3044(2013)28-6380-05 ResearchofAlgorithmsaboutFrequencyTelecomSNABasedonHadoop YANGMiao-miao,LIYue-hui,LIUJing,XUJing (CollegeofTelecommunicationandInformationEngineering,NJUPT,Nanjing210003,China) Abstract:Inthispaper,anewalgorithmcalledF-GraphwillbeproposedtostudythetelecomSNA.Combiningthedirected graphsandtheundirectedgraphstofindthemaximalcliquestofindthecorecustomersofclustersandtoreducethecomplexity ofthealgorithms.Buythewayitwillbenefittheoperatorstomakemoreinformeddecisionstoimprovemarketcompetitiveness. Keywords:Hadoop;MapReduce;DataMining;MaximalCliques [1] 国内电信企业的数据电子化程度越来越高 ，在竞争越来越激烈的市场环境下，电信企业迫切地需要一种高效的方式、精确的 存取、及时的和可信的信息，提高市场的快速反应能力，并提高市场经营的服务水平。如今，运营商的数据积累已十分庞大，面对 海量数据，如何快速存储和分析，对数据仓库已成为新的挑战。幸运的是，Hadoop-Apache软件基金会旗下的一个开源分布式云计 算平台应运而生，可大大提升电信企业处理数据的能力。 [2] 以HDFS和MapReduce为核心的Hadoop，具有高容错性，高扩展性，高效性和高可靠性等优点 。用户可在低廉的计算机上部 署集群，形成分布式系统，MapReduce能够高效地在分布式系统中并行地处理任务。因此，Hadoop在互联网领域中的应用越来越 广。 图挖掘是挖掘交往圈经典算法，通常研究的图为简单的无向图，忽视了两个节点之间的许多信息。对于电信的语音清单，通 话是有向的，只有有向图才能更好的反应两个通话者之间的通话频率，以及交往圈中的核心用户等具体的信息。所以改进已有的 图挖掘算法，结合有向图和无向图模型才能快速挖掘出更准确电信交往圈信息。 第二部分为相关概念的描述，第三部分为算法的研究与分析，第四部分为实验及相关结果的分析，第五部分为结论。 1相关概念与描述 1.1Hadoop-MapReduce框架 M