分布式网络爬虫系统设计与实现.docx

PAGE4

题目：分布式网络爬虫系统设计与实现

随着手机移动端和互联网的快速发展普及和不断发展，获得更多信息资源己经逐渐成为了现代人们的整个日常生活中必须不可或缺的一个组成部分。在众多的信息源中，通过浏览器访问网站是绝大多数人的选择。但是，如果以这种方式正常获取信息，信息获取速度慢，信息量小，就产生了Web爬虫。Web爬虫，又称Webspider或

Webrobots，可以根据用户自定义的规则，在短时间内收集大量关于万维网的特定信息。在抓取信息的同时，网络爬虫也带来了一些问题。例如，大量信息获取异常，这是一种损失。同时，大量的爬虫也给网站的维护带来