基于网页文本结构的网页去重.pdfVIP

第27卷第 11期 计算机应用 Vo1．27No．11 2007年 11月 ComputerApplications NOV．20O7 文章编号：1001—9081(2007)11—2854—03 基于网页文本结构 的网页去重 魏丽霞，郑家恒 (山西大学计算机与信．g-技术学院，太原 030006) (goodwlx@163．com) 摘 要：有哪些信誉好的足球投注网站引擎返回的重复网页不但浪费了存储资源，而且加重了用户浏览的负担。针对网页 重复的特征和网页文本 自身的特点，提出了一种动态的网页去重方法。该方法通过将网页的正文表 示成 目录结构树的形式，实现了一种动态的特征提取算法和层次指纹的相似度计算算法。实验证明， 该方法对全文重复和部分重复的网页都能进行准确的检测。 关键词 ：层次指纹；文本结构；网页去重 中图分类号：TP393．O9 文献标识码：A Detectionandelimination ofsimilarW ebpagesbasedon textstructure WEILi—xia，ZHENGJia—heng (DepartmentofComputerandInformationTechnology,ShanxiUniversity,TaiyuanShanxi030006，China) Abstract：SimilarWebpagesthatsearchenginereturnsnotonlywastestorageresourcesbutalsoincreasetheburdenon Webliner8．A dynamicmethodtodetectsimilarWebpageswasproposed．Bythismethod ，TextsofWebpageswere expressed inhte style ofcataloguestructuretrees according to thefeaturesofsimilarWeb pages and thefeatures ofWeb pages themselves．A dnyamicalgorihtm toexrtactfeaturesoftextsnadalayerfingerprintalgorithm tocalculatesimilra degreewere implemented．Theexperimentalresultsshow thatcompletelysimilarWeb pagesraedetectedaccurately，nadpartly similra Webpage8aredetectedexactly． Keywords：layerfingeprrint；textsturcture；detectionandeliminationof similra Webpages 似，常常会引起误判 ，准确率较低。基于字符串抽取的方法有 0 引言 SIFL3J、COPSL4J、KOALA J、SHINGLING 等 ，这些方法都是 近年来，随着网络技术和信息技术的飞速发展，互联网上 按照一定规则从文本中选取一些字符串来代替文本进行相似 网站的数量不断成倍增长。根据中国互联网信息中心 的 度计算。它们都有较高的正确率，但是其特征提取方法都是 必威体育精装版调查报 告，截止到 2007年 1月，全 国网页总数为 针对普通文本的，不适合于网页去重的大规模内容计算。 4472577939个。越来越庞大的互联网促进了有哪些信誉好的足球投注网站引擎技术 本文针对网页文本自身的特点和网页重复的特征，提出 的不断发展，使它越来越成为人们从网上获取信息