海量数据的快速查询算法研究-计算机软件与理论专业论文.docxVIP

南 京 邮 电 大 学 硕士学位论文摘要 学科、专业：工学 计算机软件与理论 研 究 方 向：基于网络的计算机软件应用技术 作 者：2009 级研究生 曾雪 指 导 教 师：李玲娟 教授 题 目：海量数据的快速查询算法研究 英 文 题 目：Research on Fast Query Algorithm of Massive Data 主 题 词：海量数据；Top-k；Hadoop；Hive Keywords: Massive data; Top-k; Hadoop; Hive 南京邮电大学硕士研究生学位论文摘要 南京邮电大学硕士研究生学位论文 摘要 I I 摘 要 随着博客、维基百科、共享空间、推特等新型应用的兴起，互联网已经进入了一个信息 爆炸的时代，需要处理的数据也越来越多，对于数据的处理要求也越来越高。面对不断增长 的数据，海量数据的快速查询算法成为了一个研究热点。 本文以提高海量数据的查询效率为目标，对已有的海量数据的查询技术进行了研究，重 点研究了 Top-k 查询算法。Top-k 查询根据用户的要求对相应的属性计算分值，并用聚合函数 聚集多个属性的分值作为整个元组的得分，返回得分最高的 k 个对象。Top-k 查询在海量数据 的环境中有很好的查询效率。 论文首先介绍了索引、SQL 语句优化、数据预取、近似匹配和分布式查询等已有的海量 数据查询技术，并总结了各种技术的应用范围。接着对经典的 Top-k 查询算法进行了分析， 基于对 TA(Threshold Algorithm)算法和 NRA(No Random Access)算法的研究以及近似匹配查 询思想，提出了一种新的基于抽取的 Top-k 算法(Top-k Algorithm Based on Extraction，TABE)， 该算法首先抽取出最优的元组，再对这些元组运行查询算法。为了测试 TABE 算法的性能， 设计了测试实验，实验中将之与经典的 NRA 算法进行了比较。测试结果表明 TABE 算法不仅 时间复杂度低，而且有较高的精确度，能满足常规的查询要求。论文还顺应海量数据处理的 并行化趋势，对 TABE 算法在 Hadoop 环境下进行了实现，并做了性能测试实验，实验结果 表明，借助云计算可以进一步提高 TABE 算法的查询效率。 论文对海量数据的快速查询做了有益的研究。 关键词：海量数据；Top-k；Hadoop；Hive 南京邮电大学硕士研究生学位论文A 南京邮电大学硕士研究生学位论文 ABSTRACT II II ABSTRACT With the rise of new applications, such as blog, wiki, shared space, twitter etc, the Internet has entered an era of information explosion, in which more and more data need to be addressed and the data processing requirements are increasingly high. Faced with growing data, fast query algorithm of massive data has become a hot research topic. The thesis does research on the existing massive data query technologies in order to improve the efficiency of massive data query, and focuses on the Top-k query algorithms. Top-k query calculates the grade of attribute based on user requests, and combines the attribute grades by using an aggregation function as an overall grade, then return k objects with the highest overall grades. Top-k query has good query efficiency in the environment of massive data. The thesis first describes the existing massive data query technologies, such as index, SQL statement optimization, da