基干词向量包自动文摘方法.doc

基干词向量包自动文摘方法 　　〔摘要〕[目的]利用向量空间描述语义信息，研究基于词向量包的自动文摘方法；[方法]文摘是文献内容缩短的精确表达；而词向量包可以在同一个向量空间下表示词、短语、句子、段落和篇章，其空间距离用于反映语义相似度。提出一种基于词向量包的自动文摘方法，用词向量包的表示距离衡量句子与整篇文献的语义相似度，将与文献语义相似的句子抽取出来最终形成文摘；[结果]在DUC01数据集上，实验结果表明，该方法能够生成高质量的文摘，结果明显优于其它方法；[结论]实验证明该方法明显提升了自动文摘的性能 〔关键词〕词向量；词包向量；自动文摘 DOI：10.3969/j.issn.1008-0821.2017.02.002 〔中图分类号〕G25437〔文献标识码〕A〔文章编号〕1008-0821（2017）02-0008-06 〔Abstract〕[Purposes]This work focused on automatic summarization by utilizing vector space to describe the semantics.[Methods]proposed a new representation based on word vector，which is called bag of word vector（BOWV），and employed it for automatic summarization.Words，phrases，sentences，paragraphs and documents could be represented in a same vector space by using BOWV.And the distance between representations was used to reflect the semantic similarity.For automatic summarization，the paper used the distance between BOWVs to measure the semantic similarity between sentences and document.The sentences similar with the document are extracted to form the summary.[Findings]Experimental results on DUC01 dataset showed that the proposed method could generate high-quality summary and outperforms comparison methods.[Conclusions]The experiment showed that this research improved the performance of automatic summarization significantly. 〔Key words〕vector；bag of word vector；automatic summarization 随着Internet的快速发展，电子文本数量呈现出指数增长的趋势。为了更好地利用这些信息，人们迫切需要信息压缩手段对大量的信息进行提炼、浓缩。文摘可以概括原始文档，让用户快速理解文本信息。而手工编写文摘费时费力，因此利用计算机自动生成文摘已经成为自然语言处理领域的一个重要研究课题 文摘也称摘要，是简明、确切地记述原始文献中重要内容的短文。自动文摘就是使用计算机自动生成文摘。从生成方式来看，自动文摘可分为抽取型文摘和生成型文摘。抽取型文摘从原文中抽取句子形成文摘。生成型文摘则使用“自己的话”来概括原文。相比于抽取型文摘，生成型文摘难度更大。目前，生成型文摘尚难以付诸实践，抽取型文摘是现阶段主要的研究方向[1] 文摘抽取方法大体可分为3类：①将其视作一个句子排序问题，主要任务是给句子打分，得分高的句子被纳入到最终的文摘之中，得分低的则被排除在外。打分的依据一般包括词频及分布特点[2]、句子在段落中的位置[3]、句子的相似性[4]等；②将其视作一个二元分类问题，将文档中的摘要句作为正例，非摘要句作为反例，使用的分类模型主要有朴素贝叶斯模型[5]、决策树[6]、支持向量机[7]、人工神经网络[8]等；③将其视作一个序列标注问题，将文档中的摘要句标注为1，非摘要句标注为0，使用的模型主要有隐马尔可夫模型[9]和条件随机场[10] 抽取型文摘是由文档中的句子组成，因此句子的表示是一个关键问题。句子是词的序列，句子的表