分布式爬虫和Hadoop平台内的分布式文件储存系统.doc

摘要

随着网络的发展，互联网上的信息也成指数增长，相关数据也呈现出数据量大、种类多的特点。面对如此庞大的数据量，人们需要快速、准确的获取到所需要的信息，因此爬虫技术便应运而生。但是单一的一台主机爬虫于效率慢仍然无法满足快速的要求，所以便需要分布式网络爬虫，通过多台主机组成集群的方式来进行快速准确的网络数据获取。

本篇文章在研究了分布式爬虫和Hadoop平台内的分布式文件储存系统(HDFS)和计算模型(Map/Reduce)相关理论和技术的基础上，总结出了整体系统设计的需求分析，其中包括功能和非功能的分析。在对系统总体的设计中分别对系统平台架构和功能模块进行了设计。然后对该系统进行