deep we数据源发现相关技术研究.pdf

DeepWeb数据源发现相关技术研究 中文摘要 中文摘要 随着网络飞速发展和所含信息规模的日益扩大，当前web中蕴含了大量的各种 各样的数据，其中很大一部分是高质量的结构化信息。而这些信息大多被保存在web Web 在线数据库中，用户只能通过查询接口来获取相关的信息，这类信息被称为Deep 信息。对这些结构化信息进行收集并集成，以提供高质量的结构化信息的检索服务， W曲信息进行收集，首先必 用户就能够快速、准确地找到所想要的信息。要对Deep 须解决的问题就是发现数据源。 Web数据源发现所涉及到的相关技术进行了分析研究，并提出了相 本文对Deep 关的算法和模型。主要研究工作包括： Web (1)研究了基于DeepWeb的查询接口判定技术。DeepWeb查询接口是Deep 信息访问的入口，所以对数据源的发现其实也就是对查询接口的发现。本文提出了 一种基于表单特征图的查询接口判定算法。 Web数据源发现问题，提出了一个面向查询 (2)采用分布式爬虫技术处理Deep 接口判定的爬虫框架及算法。 (3)通过实践比较不同页面信息抽取方法的优缺点，提出一种基于DOM树的页面 信息抽取技术，该方法在DOM树准确定位的基础上，较好地处理了接口抽取中出现的 问题。 (4)对收集到的数据源信息进行初步的处理，主要是去重处理，获得都是唯一的 包含查询接口的表单。 此外，本文还对文中提出的方法和技术进行了实验，通过对实验结果的分析进一 步验证本文提出的技术方法是行之有效的。 Web，数据源发现，特征图结构，接口判定，特征抽取 关键词：Deep 作者：李林 。 指导老师：崔志明(教授) Relevant ResearchOn WebSource ABSTRACT The TechnologiesDeep Discovery ABSTRACT With ofnetworkand ofinformation’S is expanding scale，there rapidgrowing gradual ar structure amassofkindsofinformationinthe oftheme web，most high—quality storedinonline could information．Inmost informationis databases，user instances，this callthemas Web them insearch we g