基于URL模式的网页分类算法研究-计算机应用技术专业论文.docxVIP

IIIIIIII III IIIlll IIIIIIII III Y3021 454 University ofOt Scienceclence andand Tt．=chnoloqyechnoloqv of A d issertation for master’S deg ree Research on U RL．．Pattern Based Algorith m for Web Page C IaSSmCation Author’S Name： Yiming Yang Speciality： Computer Application Technology Supervisor： Associ．Prof．Guiquan Liu Finished time： May,2016 万方数据  中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：物丝丝 签字日期：星!丛：笪!f—— 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中国学 位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 必威体育官网网址的学位论文在解密后也遵守此规定。 回公开 口必威体育官网网址(——年) 作者签名：尘匆丝丝 导师签名： 劐兰易 签字日期： 2·，‘16．I 签字目期：2里!鱼：』：! 万方数据  摘要 摘要 随着互联网和移动互联网的快速发展，如何高效地组织和管理海量的网页信 息越来越成为棘手的问题。网页分类研究作为Web挖掘的一个基础步骤，在搜 索引擎、主题爬虫和维护目录式网站等许多应用中均发挥着重要作用。 基于内容的网页分类技术大多从网页内容、超链接结构和邻居节点等信息中 抽取出大量特征，然后使用有监督学习方法进行分类。而只基于URL的网页??? 类技术则仅基于刚页URL信息进行分类。虽然网页分类技术已经被大量研究过， 但是已有方法过于依赖特征工程，训练所需时间代价较大，而且不能较好地处理 数据中的噪音问题。另外，现有方法未考虑增量学习情形，该问题在训练数据流 式产生的情景中尤为突出。 在本文中，我们引入模式树的思想并加以改进，提出了UPCA算法。根据特 定类型网页的训练集，通过模式树的构建和模式规则的提取，我们可以获得该类 型网页URL所遵循的通用模式库。模式库可以代表对应类型网页URL集合的结 构特点。对于新来的网页，我们只需将网页URL和已得到的模式库匹配来判断 网页是否属于该类型。另外，我们将模式树的构建改进为增量式，也就是训练数 据分批到来时在已有模式树的基础上进行增量更新，从而达到无需每次都重新构 建模式树的目标。并且文中给出了新增训练样本对键对应信息熵的影响范围。 最后在真实数据集上的实验结果表明，UPCA算法在保证分类精度的前提下 能显著提高效率，而且我们提出的增量模式树算法可以很好地处理训练数据流式 产生的场景。 关键词：URL模式网页分类Web挖掘 万方数据 摘要 11 万方数据  Abs仃act ABSTRACT With the rapid development of the Internet and mobile Intemet，it becomes a challenging task to organize and manage the massive Web pages effectively．As a fundamental part of Web mining，Web page classification research plays an important role in many fields of Web mining，such as search engine，topic crawler and maintenance of directory sites． Content—based Web page classification technology mostly extracts various features from the content，hyperlink structure，neighboring pages and etc，and then USeS supervised le