web页面结构似性的算法研究及应用.pdf

摘 要 摘 要 网页结构相似性的度量是Web信息处理中的一项重要任务，在数据抽取和 有哪些信誉好的足球投注网站引擎等研究领域有着潜在的重要研究价值。好的相似性度量方法可以提高数 据抽取的准确率和速度，还可以提高有哪些信誉好的足球投注网站引擎的速度、提高返回数据的质量、减 少大量冗余数据占据的存储空间。实现该任务的已有算法往往存在着时间复杂度 过高的问题。 通常，简单的DOM树模型可用于HTML文档建模，展现文档的结构信息 模型。然而，DOM树只是把文档按照其结点的嵌套结构表示为树结构，它并不 能够表达重复子树这样的结构信息。而重复子树这种内部结构信息对于web文 档问的结构相似性度量是相当重要的。 为了解决这一问题，本文提出了一种称为“Tag．Bag树的树模型。该模型 使用Bag节点来表示树中的重复元素(重复元素在很多web应用中都非常重要)， 从而可以捕获半结构化文档的结构信息。基于Tag．Bag树模型，我们进一步提出 Tree CTM(Complex 们之间结构相似度的度量。与现有的编辑距离计算算法相比，CTM算法不允许 结点的替换和跨层匹配，从而具有较高的运行效率。此外，CTM算法的另一个 优点在于它能够辨别一个页面中出现的单一重复模式(当这个模式可能在另一个 页面中出现多次的时候)。最后，试验结果表明：本文所提出的方法不论在速度 ofXPaths方法。 还是精度上都要优于著名的Bag 关键词：Web文件相似度，树匹配，结构相似度 中图分类号：TP391 本文由国家自然科学基金项目(项目批准号资助 第i页 摘 要 Abstract This addressesthe of ofweb isan paper problemevaluatingsimilaritypages，which taskin webinformationandof valueindataextractionand important processinggreat webinformation effectivemeasureof betweenis retrieving．An similarity pages tobe for and ofdata proved importantimprovingprecision extraction， performance anditcanalsoenhance of that performance ofdata the queryengines，increasequality reducethe thattheredundantdata returned，and engine storage using．Thealgorithms that thistaskis perform alwaystime—consuming． asDOM beenusedtomodelthestruc