基于MapReduce的分布式有哪些信誉好的足球投注网站引擎研究.PDF

《现代图书情报技术》　２００７年　第８期 知识组织与知识管理 　　总第１５４期  基于 Ｍａｐ／Ｒｅｄｕｃｅ的分布式有哪些信誉好的足球投注网站引擎研究 吴宝贵 （西安电子科技大学经济管理学院　西安７１００７１） 丁振国 （西安电子科技大学网络教育学院　西安７１００７１） 　　【摘要】　在对Ｍａｐ／Ｒｅｄｕｃｅ算法进行分析的基础上，利用开源Ｈａｄｏｏｐ软件设计出高容错高性能的分布式 有哪些信誉好的足球投注网站引擎，以面对有哪些信誉好的足球投注网站引擎对海量数据的处理和存储问题。 　　【关键词】　映射／规约　分布式有哪些信誉好的足球投注网站引擎　Ｈａｄｏｏｐ　　【分类号】　Ｇ３５０ ＲｅｓｅａｒｃｈｏｆＤｉｓｔｒｉｂｕｔｅｄＳｅａｒｃｈＥｎｇｉｎｅＢａｓｅｄｏｎＭａｐ／Ｒｅｄｕｃｅ ＷｕＢａｏｇｕｉ （ＳｃｈｏｏｌｏｆＥｃｏｎｏｍｉｃｓａｎｄＭａｎａｇｅｍｅｎｔ，ＸｉｄｉａｎＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００７１，Ｃｈｉｎａ） ＤｉｎｇＺｈｅｎｇｕｏ （ＳｃｈｏｏｌｏｆＮｅｔｗｏｒｋＥｄｕｃａｔｉｏｎ，ＸｉｄｉａｎＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００７１，Ｃｈｉｎａ） 　　【Ａｂｓｔｒａｃｔ】　ＴｈｉｓｐａｐｅｒａｎａｌｙｚｅｓｔｈｅａｌｇｏｒｉｔｈｍｏｆＭａｐ／ＲｅｄｕｃｅａｎｄｕｓｅｓｏｐｅｎｓｏｕｒｃｅＨａｄｏｏｐｓｏｆｔｗａｒｅｔｏｄｅｓｉｇｎ ｈｉｇｈｆａｕｌｔ－ｔｏｌｅｒａｎｔ，ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｄｉｓｔｒｉｂｕｔｅｄｓｅａｒｃｈｅｎｇｉｎｅｓ，ｗｈｉｃｈｗｉｌｌｂｅｉｎｔｈｅｆａｃｅｏｆｌａｒｇｅ－ｓｃａｌｅｄａｔａｐｒｏ ｃｅｓｓｉｎｇａｎｄｓｔｏｒａｇｅｐｒｏｂｌｅｍｓ． 　　【Ｋｅｙｗｏｒｄｓ】　Ｍａｐ／Ｒｅｄｕｃｅ　Ｄｉｓｔｒｉｂｕｔｅｄｓｅａｒｃｈｅｎｇｉｎｅ　Ｈａｄｏｏｐ １　引　言 ２　Ｍａｐ／Ｒｅｄｕｃｅ算法 　　随着ＷＷＷ信息量的迅速增长，面对海量数据的处 ２．１　Ｍａｐ／Ｒｅｄｕｃｅ算法概述 理和存储，传统的集中式有哪些信誉好的足球投注网站引擎显得无能为力。于是， ［４，６，７］ 　　Ｍａｐ／Ｒｅｄｕｃｅ 是一种编程模式，用于大规模数据 为了解决这一技术难题，分布式有哪些信誉好的足球投注网站引擎应运而生，并已 的分布式和并行计算。所谓的Ｍａｐ／Ｒｅｄｕｃｅ，其实是 Ｍａｐ 成为信息检索领域研究的热点。文献［１］就大规模分布 （映射）和Ｒｅｄｕｃｅ（规约）两步。首先，Ｍａｐ函数用于把一 式并行信息检索进行了分析，对信息采集、索引、检索给 组输入（Ｋｅｙ，Ｖａｌｕｅ）对映射为一组中间结果的（Ｋｅｙ，Ｖａｌ 出了分布式并行模型；文献［２］介绍了一种使用分布式技 ｕｅ）对，然后通过 Ｒｅｄｕｃｅ函数把相同Ｋｅｙ值的中间结果 术的有哪些信誉好的足球投注网站引擎解决方案；文献［３］对基于Ｐ２Ｐ的分布式检 合并化简。比如有一组数（１，２，３，４），各个分量乘２（Ｍａｐ 索模型进行了研究。作为一种海量数据的分布式处理技 操作），结果为（２，４，６，８）（中间文件），然后结果再求平 术，Ｍａｐ／Ｒｅｄｕｃｅ已经成功地运用于Ｇｏｏｇｌｅ有哪些信誉好的足球投注网站引擎的数 均值为５（Ｒｅｄｕｃｅ操作）。 ［４］ 据处理 ，Ｇｏｏｇｌｅ正是利用了这一技术，成功地运用了普 ２．２　Ｇｏｏｇｌｅ的Ｍａｐ／Ｒｅｄｕｃｅ