大规模可扩展索引技术研究和系统实现.doc

学位论文 题目： 大规模可扩展索引技术的 研究和系统实现 姓 名： 学 号： 院 系： 信息科学技术学院 专 业： 计算机系统结构 研究方向： 有哪些信誉好的足球投注网站引擎与Web信息挖掘 导 师： 教授 二〇〇八年 五月 版权声明 任何收存和保管本论文各种版本的单位和个人，未经本论文作者同意，不得将本论文转借他人，亦不得随意复制、抄录、拍照或以任何方式传播。否则，引起有碍作者著作权之问题，将可能承担法律责任。摘 要 随着互联网的发展，原始的数据库系统无法满足大数据量相关性检索的需求。从而基于倒排表的索引系统越来越多的应用在各项服务中。但是索引系统和数据库系统一样，有着较为复杂的内部逻辑和外部行为，如何创建我们需要的索引系统，如何优化我们的索引系统，是困扰很多索引系统构建者和使用者的难题。 本文的研究范畴是用于信息检索的索引系统，通过一个真实的索引系统——Paradise索引系统，本文从三个方面进行分析和研究：对索引系统进行功能模块上的分析；对索引系统开发和使用中的性能问题的研究和分析；对一个实际系统的系统实现的详细。具体为： 索引系统的模块分析 本文详细分析了作为一个复杂系统的索引系统，其创建和使用都受到很多条件的制约。本文分析了索引系统的常见的需求，比如如何对原始的文档集合进行分析，如何设计索引内部文档的表示能力，索引如何创建，如何存储等，划分了一系列基本的功能模块。 索引系统的性能分析 因为索引系统的目的是快速的响应检索需求，所以效率问题一直是索引技术的核心问题。在模块功能分析的基础之上，本文进一步分析了索引创建和检索中常见的性能问题，提出了基本的解决方案。同时，对于如何对索引系统进行整体的和局部的量化分析，引入了DQ法则，尝试给出一个指导实践的经验公式。 Paradise索引系统的实现分析 对于问题的分析，需要一个具体的系统进行实践。在深入研究天网有哪些信誉好的足球投注网站引擎已有的索引系统和相关索引系统基础上，同时在大量阅读了相关专业文献之后，我们进行了分析和研究，设计实现了863课题支持的Paradise项目的索引系统。本文以系统的基本模块和重要接口为核心，分析了系统的基本框架能力以及如何进一步对系统进行扩充。 关键词：信息检索，索引系统，索引优化，倒排表The research and implementation of Large Scale and Extensible Indexing System Abstract Along with the rapid development of Internet, the database system is not suitable for the large dataset in information retrieval task. The indexing system is used more and more in lots of web applications. As the database system, indexing system have it’s own difficulty in internal logic and external behavior. How to build our own indexing system and how to optimize it is difficult for the indexing system developer and user. The research of this thesis is indexing system used for information retrieval. This thesis will present three aspect of indexing system through one real system – Paradise indexing system. (1) To modularize the indexing system basing on the function point of view; (2) To analyze the optimization problems in the develop and use of indexing system; (3) To analyze the implementation of the indexing system. Modularizing the indexing system Due to the complexity of the indexing system, the construction and the usage of it