网站大量收购闲置独家精品文档,联系QQ:2885784924

基于模板化的web页面爬取系统的设计与实现!.pdfVIP

基于模板化的web页面爬取系统的设计与实现!.pdf

  1. 1、本文档共2页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于模板化的web页面爬取系统的设计与实现!.pdf

经验 D 交流 IGITCW Experience Exchange 基于模板化的Web页面爬取系统的设计与实现 邓智颖 (山西大学计算机与信息技术学院,太原 030006) 摘要:本文首先阐述了与网络爬虫有关的研究工作,然后分析基于模板化网络爬虫的研究思路和实现过程以及与传统 网络爬虫的区别,具体说明了模板的构造方法与使用过程。最后对研究成果进行了展示。通过对三个图书网站进行了相对 于该网站的模板以及程序的编写,这三个网站分别是当当网、china-pub以及国家图书馆。实现了基于模板化的网络爬虫技 术,使得程序能够自动提取所需要的信息,并且完成了预期查询速度提高的目标。 关键词:网络爬虫;信息抽取;模板化;Web doi:10.3969/J.ISSN.1672-7274.2017.04.104 中图分类号:TP393.092 文献标示码:B 文章编码:1672-7274(2017)04-0216-02 1 模板的构造与使用 队列中;并采用宽度优先加入队列的方法,提高网 页质量;将全部需要Download 的网址排成队列并 1.1 研究思路 加载,设定访问的队列为互斥的多线程访问维护方 ⊙ 对Web 网站的URL信息进行抓取与收集。 式来维护下载队列;并设置一时间间隔对队列进行 ⊙ 编写正则表达式及模版,提高程序运行效率。 状态维护,启动下载,防止程序因网络不稳定而中 ⊙ 构建基于模板化网络爬虫技术的Web 网页 断;将下载过的网址写入Hash 表,避免过多下载同 信息系统。 一网站,采取分布式提高爬虫的性能和效率;设定 UrlMatch 的值对网址进行过滤,从而定制网址。 ⊙ 实现基于模板化网络爬虫技术各网站及其 网页信息的抓取与保存。 在读取爬取队列基础上,获取服务器数据库中 的各层模板列表 (在本次实验中,URL 列表以文件 1.2 构造过程 夹的形式存储在本地),程序通过网页信息以及用 对于结构化网页源代码来说,首先通过分析各 户给定的信息判断出是哪一层次的网页并匹配出相 个层次的网页链接URL ,抽取出各层次的特征,写 应的模版,从模板列表中读出模板库后,自动的根 成正则表达式的形式。针对每一层次的网页,通过 据程序中的网站入口地址匹配模板;对上述信息进 分析其源代码H T M L文本,根据我们所需要的信 行加载,网络爬虫程序开始启动。之后爬虫把已经 息,提取相应的模板。 爬去过的URL放入已爬取队列,继续依次爬取未爬 对于半结构化的网页源代码来说,首先应把其 取过的URL ,直至爬取队列为空。 中的无关内容过滤剔除,并对网站内容进行分析。如 2 研究成果及分析 果网页结构简单,可以构造正则表达式,通过正则 2.1 研究成果

文档评论(0)

小马过河 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档