基于多种策略的页面内容提取算法.pdfVIP

第42卷第4期 西南交通大学学报 V01．42No．4 OFSOUTHWESTUNIVERSITY 2007年8月 JOURNAL JIAOTONG Aug．200r7 文章编号：0258-2724(2007)04JB473JD5 基于多种策略的页面内容提取算法 高 琰， 谷士文， 谭立球 (中南大学信息科学与工程学院，湖南长沙410075) 摘要：针对web页面存在与主题无关的噪音的问题，提出了基于页面结构与页面内容相结合的多策略页面内 容提取算法．该算法根据改进的VIPs(基于视觉信息的页面分割算法)生成页面的块结构树，通过定义内聚度阈 值和块结构树的最大深度，实现了块结构树中不同区域内不同分块粒度的要求；根据Web页面提供的结构信息 和内容信息提取块结构树叶子节点中的“主题”块和“主题相关”块；最后，对主题块和主题相关块的内容进行合 并，提取页面的主要内容．实验表明，对任意下载、不同内容类型的页面，该算法都能有效地提取页面内容． 关键词：VIPs(基于视觉信息的页面分割算法)；内聚度；最大深度；内容信息；结构信息 中图分类号：’鹏93．092文献标识码：A WebContentExtractionBasedon MultipleStrategies 甜D№n，伽鼽洳e凡，圳伽讥 ofh面mati∞Scienceand SoutlI (CoUege Eng．，Centralunivc墙ity，Ch帅铲ha4100r75，China) tofiltertllenoiseinaweb new toextracttlle Abstract：Inorder page，a multi—s眦egyalgoritllm contentsofaweb indi妇Ferentareasoftlle pagew鹅pmposed．With出isa190ritllm，吐legranularit)r blockn．eeofaweb establishedme based is VIPS(Visual page by impIDVed pagesegment)algorithm controUed the ofcoherenceandtllemaximumoftheblockn．ee．In bydefiningpe脚itteddegree depth of block f而m tIleleavestlle treec蛐beex虹acted addition，‘‘topic”or‘‘topic-relevaJlt”blocksamong main 出eblocks’contentinfo咖ationandstmcture content0faweb call infonnation．Finally，tlle page tlleweb of indicates beextra