支持AJAX分布式爬虫系统的研究和实现.docx

A Dissertation Submitted in Partial Fulfillment of the RequirementsFor the Degree of Master of EngineeringResearch and Implement of Distributed CrawlerSystem Supporting AJAXCandidate : WuBaiMajor: Communication Information SystemSupervisor : Associate Professor Tan YunmengHuazhong University of Science and TechnologyWuhan, Hubei 430074, P. R. ChinaJan, 2013独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。必威体育官网网址□ ，在________年解密后适用本授权书。本论文属于不必威体育官网网址□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华 中 科 技 大 学 硕 士 学 位 论 文摘要现代社会互联网技术日新月异，互联网产品也如雨后春笋一般层出不穷，AJAX技术越来越受到开发者的青睐。此技术对传统的网络爬虫却是不友好的，使用传统的网页抓取方式获得内容是不完整的，因此，研究支持 AJAX 的网络爬虫系统，具有重要的现实意义。本文首先调研了异步加载网页获取方式的国内外研究现状，阐述了其收录困难的原因，分析了当前抓取方案的优势和不足，提出了调用浏览器接口请求并获取网页的方案。其次，为了提高网页抓取效率，协调好 AJAX 爬虫和静态网页爬虫的资源调配，本文提出了一个网页属性分类器的解决方案，此方案能通过网页处理模块的正文抽取结果反馈并修正分类结果，根据分类结果对不同的网页采取不同的抓取方法。最后，为了维护分布式系统的健康运行，系统设计了心跳信息监测模块，此模块将收集分布式系统的心跳信息并统计分析系统健康度。本文所研究和实现的支持 AJAX 的分布式爬虫系统，能够收录异步加载的网页和普通的静态页面，并能够实现抓取任务高效的分配，为异步加载网页的抓取提供了新思路。系统测试结果表明预期功能得以实现，并达到了较好的性能指标。关键词：分布式爬虫；AJAX ；动态加载；有哪些信誉好的足球投注网站引擎I华 中 科 技 大 学 硕 士 学 位 论 文AbstractWith the rapid development of Internet technology, numerous internet products haveemerged. One of them, the AJAX technology, is getting more and more favors fromsoftware developers. However, this technology is unfriendly to the traditional web crawler,and the content of web pages grabbed by traditional web crawler is imperfect. Therefore,the research for crawler system supporting AJAX has great practical significance.This paper first investigates the current research situations of AJAX crawler, andanalyzes the advantages and disadvantages of existing crawler schemes. Then, we proposea solution which requesting web pages by invoking explorer. In order to improve theefficiency of crawling webs and co