基于维基百科的短文本特征扩展及分类算法研究-计算科学与技术专业论文.docxVIP

万方数据 万方数据 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得 天津理工大 学 或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名： 签字日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解 天津理工大学 有关保留、使用学位论文 的规定。特授权 天津理工大 学 可以将学位论文的全部或部分内容编入 有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编， 以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子 文件。 （必威体育官网网址的学位论文在解密后适用本授权说明） 学位论文作者签名： 导师签名： 签字日期： 年 月 日 签字日期： 年 月 日 摘要 随着计算机和移动手持设备的广泛应用，短文本信息呈现爆炸式的增长。如何快速 有效地实现短文本的自动分类，是目前信息领域亟待解决的问题。短文本的长度在 160 字以内，具有实时性、海量性、稀疏性、表达形式不规范以及样本分布不均衡等特点， 这使得传统的文本分类算法在短文本中不能表现出较好的分类效果。针对短文本的分类 问题，本文在短文本特征扩展和分类算法等方面做了以下研究： 首先，针对短文本样本分布高度不均衡，传统的文本分类器难适用等问题，本文提 出了基于集成算法思想的 Bagging_NB 和 Bagging_BSJ 算法。主要是根据 Bagging 的算 法原理，分别将弱分类器 NB 算法和算法 NB、SVM、J48 结合后的算法作为基分类器 训练分类模型。这种改进不仅能有效地提高单一分类器的泛化能力，而且能避免过拟合 问题，将弱分类器转化为利于短文本分类的强分类器。实验结果表明，本文提出的 Bagging_BSJ 算法其准确率提高了 12%，召回率提高了 28%，F 值提高了 20%左右。 其次，针对词项间的语义关系量化问题，本文提出了一种基于维基百科文本和链接 信息的语义相似度计算方法—WLA。受到基于维基百科的明确语义分析和链接信息计算 方法的启发，WLA 算法综合考虑了维基百科主题页面内的文本信息和链接结构，提取 摘要段的文本信息和整个页面内的链接信息(入链接和出链接)，分别进行语义相似度计 算，然后以不同的权重将这两种语义相似度计算相结合，作为两个词项间的语义关系量 化模型。WLA 算法为后文短文本特征扩展模型中的语义扩展提供了理论依据。 最后，针对短文本的特征稀疏性，本文将维基百科作为外部语义知识库，提出了两 种短文本特征扩展模型。一种是对维基百科主题页面内的文本信息进行预处理，将得到 的特征词项向量作为短文本特征的扩展词表，这个过程称为维基扩展；另一种是基于 WLA 语义关系模型，计算主题特征词与维基扩展向量中各元素间的语义相似度，选择相似度 高的词项组成短文本主题特征的扩展词表，称为语义扩展。实验结果表明，与未进行特 征扩展的原始短文本数据相比，本文提出的两种扩展模型在准确率、召回率等方面均有 显著提高，其中，语义扩展表现最优。 本文的研究不仅在一定程度上有效弥补了短文本特征稀疏、语义匮乏等缺陷，而且 为舆情分析、社交即时消息处理等领域提供了借鉴手段，具有一定的理论意义和应用价 值。 关键词： 短文本 分类算法 维基百科 特征词 Abstract With the wide use of computers and handheld mobile devices, the short text information grows rapidly. That how to quickly and effectively realize the automatic classification of short text is an urgent problem to be solved in the field of information at present. The length of short text is no more than 160 characters. And the short text has the characteristics of real-time, massive, sparse, irregular form of expression as well as the uneven distribution of samples and so on, which make the traditional text classification alg