- 1、本文档共2页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于模板化的web页面爬取系统的设计与实现!.pdf
经验
D 交流
IGITCW
Experience Exchange
基于模板化的Web页面爬取系统的设计与实现
邓智颖
(山西大学计算机与信息技术学院,太原 030006)
摘要:本文首先阐述了与网络爬虫有关的研究工作,然后分析基于模板化网络爬虫的研究思路和实现过程以及与传统
网络爬虫的区别,具体说明了模板的构造方法与使用过程。最后对研究成果进行了展示。通过对三个图书网站进行了相对
于该网站的模板以及程序的编写,这三个网站分别是当当网、china-pub以及国家图书馆。实现了基于模板化的网络爬虫技
术,使得程序能够自动提取所需要的信息,并且完成了预期查询速度提高的目标。
关键词:网络爬虫;信息抽取;模板化;Web
doi:10.3969/J.ISSN.1672-7274.2017.04.104
中图分类号:TP393.092 文献标示码:B 文章编码:1672-7274(2017)04-0216-02
1 模板的构造与使用 队列中;并采用宽度优先加入队列的方法,提高网
页质量;将全部需要Download 的网址排成队列并
1.1 研究思路
加载,设定访问的队列为互斥的多线程访问维护方
⊙ 对Web 网站的URL信息进行抓取与收集。 式来维护下载队列;并设置一时间间隔对队列进行
⊙ 编写正则表达式及模版,提高程序运行效率。 状态维护,启动下载,防止程序因网络不稳定而中
⊙ 构建基于模板化网络爬虫技术的Web 网页 断;将下载过的网址写入Hash 表,避免过多下载同
信息系统。 一网站,采取分布式提高爬虫的性能和效率;设定
UrlMatch 的值对网址进行过滤,从而定制网址。
⊙ 实现基于模板化网络爬虫技术各网站及其
网页信息的抓取与保存。 在读取爬取队列基础上,获取服务器数据库中
的各层模板列表 (在本次实验中,URL 列表以文件
1.2 构造过程 夹的形式存储在本地),程序通过网页信息以及用
对于结构化网页源代码来说,首先通过分析各 户给定的信息判断出是哪一层次的网页并匹配出相
个层次的网页链接URL ,抽取出各层次的特征,写 应的模版,从模板列表中读出模板库后,自动的根
成正则表达式的形式。针对每一层次的网页,通过 据程序中的网站入口地址匹配模板;对上述信息进
分析其源代码H T M L文本,根据我们所需要的信 行加载,网络爬虫程序开始启动。之后爬虫把已经
息,提取相应的模板。 爬去过的URL放入已爬取队列,继续依次爬取未爬
对于半结构化的网页源代码来说,首先应把其 取过的URL ,直至爬取队列为空。
中的无关内容过滤剔除,并对网站内容进行分析。如 2 研究成果及分析
果网页结构简单,可以构造正则表达式,通过正则
2.1 研究成果
文档评论(0)