大规模网页模块识别与信息提取系统设计与实现 大学论文.doc

本科生毕业论文 题目：(中文)大规模网页模块识别与信息提取系统设计与实现 (英文 )Design and Implementation of Large Scale Web Template Detection and Information Extraction System  原创性声明 本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。 作 者 签 名：　　 　 　　日　 期：　　 　 　　 指导教师签名：　　 　 　　 日　　期：　　 　 　　 使用授权说明 本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。 作者签名：　　 　 　　 日　 期：　　 　 　　 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权　　 　 　大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 涉密论文按学校规定处理。 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 注 意 事 项 1.设计（论文）的内容包括： 1）封面（按教务处制定的标准封面格式制作） 2）原创性声明 3）中文摘要（300字左右）、关键词 4）外文摘要、关键词 5）目次页（附件不统一编入） 6）论文主体部分：引言（或绪论）、正文、结论 7）参考文献 8）致谢 9）附录（对论文支持必要时） 2.论文字数要求：理工类设计（论文）正文字数不少于1万字（不包括图纸、程序清单等），文科类论文正文字数不少于1.2万字。 3.附件包括：任务书、开题报告、外文译文、译文原文（复印件）。 4.文字、图表要求： 1）文字通顺，语言流畅，书写字迹工整，打印字体及大小符合要求，无错别字，不准请他人代写 2）工程设计类题目的图纸，要求部分用尺规绘制，部分用计算机绘制，所有图纸应符合国家技术标准规范。图表整洁，布局合理，文字注释必须使用工程字书写，不准用徒手画 3）毕业论文须用A4单面打印，论文50页以上的双面打印 4）图表应绘制于无格子的页面上 5）软件工程类课题应有程序清单，并提供电子文档 5.装订顺序 1）设计（论文） 2）附件：按照任务书、开题报告、外文译文、译文原文（复印件）次序装订 摘要 本文提出了一套基于语义的网页分块和主题内容信息提取算法，在天网有哪些信誉好的足球投注网站引擎预处理模块中将其实现，并且在SEWM 2008 会议中，以这套算法为框架，组织了主题型网页识别和网页主题内容信息块提取两个中文Web 信息检索评测项目。在这套算法的基础上，基于天网文件系统与Map-Reduce 计算平台，实现了分布式的网页块级别QuarkRank 算法，改进了PageRank 算法的效果。实际检验表明，该套算法具有很好的适应性与可扩展性，并达到了很高的精度和召回率。 关键词：网页分块信息提取评测Map-Reduce PageRank  Abstract This paper presents a semantic webblocking and information extraction of thematic content algorithm, which is achieved in the pretreatment module of TianWang search engine, and in SEWM 2008 meeting, us