对科技论文分类研究.ppt

对科技论文的数字文档的自动分类研究 作者：李森 山东大学计算机学院 引言 文本自动分类 传统的论文分类法对普通的文献进行分类时准确率为78%左右, 但是利用它对计算机和自动化类的科技文献按照中图分类法进行分类时准确率仅为56 %左右 。 背景介绍 传统的论文分类方法 由于传统的算法不适用于处理文本信息这种非结构的数据，因此必须将其进行结构化转换。近年来应用较多的是向量空间模型(Vector Space Model，VSM)。计算权值的方法有多种：词频统计法、词频逆文本频率(TFIDF)、WIDF算法、Shannon信息熵等.。 在对文本进行向量化后，利用学习算法对文本向量进行学习，以得到分类器（KNN，SVM，N-bayes）。 我们的工作 我们注意到科技论文是一种半结构化文挡，可以把论文的标题、关键词集合和摘要看作为论文的元数据，因为它们精简地反映了文章的核心内容，本文介绍了利用元数据单独分类的效果和利用元数据和分类法相结合的多层分类法。和单纯地使用支持向量机相比，本方法在分类精度和效率上均优于前者。 准备工作 实验：我们考虑比较用文本全文信息与仅用科技论文的标题、关键词和摘要部分作为测试集进行分类的差异。我们从搜集的文献中随机地抽出中图法分类号为TP391、TP392、TP393、TP399的文献：416篇作为测试集，500篇作为训练集。得到分类结果如下： 结论1：仅仅根据标题、关键词、摘要信息进行分类其分类精度是略低于依靠文本全文信息进行分类的，有些类别的分类要明显好于其他类别. 原因1：1)因为标题、关键词和摘要信息中的特征项远远少于全文文本信息中的特征项；2)普通的分词软件对包含了较多专用名词的科技文献进行分词时的效果不太好；3)比较重要的一点是科技文献的某个类(特别是较细的类)的各个子类的文本中存在很多交叉的词项(词或短语)，易造成混乱。 改进实验 改进实验：，首先将文本类别扩展到中图法分类号为TP31、TP37、TP39、TP3X，然后相同程度的扩展测试集与训练集。 得到分类结果如下： 结论2:在较高一层的类别分类中,无论是使用文本全文信息分类还是仅仅利用标题、关键词、摘要信息进行分类其分类结果都有极大的提高,而利用标题、关键词、摘要信息进行分类的分类精度(查准率与查全率)也接近甚至在个别类别超过了使用文本全文信息进行分类的结果。 原因2： （1）较高一层的类别中存在较少的交叉子项，不容易造成混乱 。 （2）标题、关键词、摘要信息中存在较少的噪声，并且为高层的类别提供了足够的分类信息。 我们的想法 将待分类的文本进行粗分类，然后再对粗分类的结果进行细分类，其中，在进行粗分类的时候仅仅依靠其标题、关键词、摘要信息内容，而在细分类的时候再采用文本全文信息进行分类，并在每一步分类中采用各自的学习算法和相应参数进行学习。 我们的想法 基于层次的科技论文分类模型 实验与评测 样本的选取---科技论文文本数据库的建立. 我们分别使用K-NN与SVM两种经典分类方法对科技论文进行了分类，再使用基于层次的分类模型对相同测试集进行了分类，得到结果如下： 实验与评测 SVM 实验与评测 KNN 实验与评测 基于层次的分类模型 实验与评测 综合的比较： 结论 互联网和科学研究的高速发展迫切需要对科技类文本进行精确而有效的分类。传统的科技文献分类方法无法对处于类边缘的论文进行准确地分类。本文提出一种基于层次的科技论文的分类模型，并通过实验证明，该方法是一种行之有效的提高文本分类的精度与效率的途径。未来的工作包括：在现有基础上，考虑增加参考文献的信息以提高对分类的精度，该模型在不同性质类别（如基于大量文本内容的文学类别和基于大量字符、公式的数学类别等）分类中的应用等等。 参考文献： [1] 中国图书馆分类法编辑委员会．《中国图书馆分类法》使用手册[M]．第4版．北京：北京图书馆出版社，1999 [2] J Gary Auguston J，Jack Minker．An analysis of Some graphtheoretical cluster techniques[J]．JACM，1970，17(4)：571— 588． [3] Y． Yang ， Xin Liu． A re-examination of text categorization methods， Proceedings of ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR)，1999：42—49 [4] Masao Fuketa，Sangkon Lee，Takako Tsuji et a1．A docu