毕业设计（论文）：基于统计方案的自动摘要系统.doc

基于统计方案的自动摘要系统 什么是中文分词？ 众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。上海SEO服务，分词的结果是：上海 SEO服务 1. 信息社会不断发展,如何快速获取信息的主旨,如何快速阅读新信息,成为亟待解决的问题。文本自动摘要应运而生,它能够对大量的信息进行提炼、浓缩,成为解决上述问题的有力工 具。 文本自动摘要,是指对文本信息内容进行概括,提取主要内容进而形成摘要的过程[1]。人们利用计算机对文本信息进行处理,用简明扼要的文字概括其主要内容,指明文本中概念、实体间的关系,生成基本反映文章主题的摘要信息,摘要的形式可以是文本段落或句子。 2.文本自动摘要的算法分类 到目前为止,文本自动摘要的研究工作都是努力从文本中抽取出重要的文本片段,其算法可以分为三大类[2]: 第一类为领域相关算法。这是基于知识理解的算法,为了获得较为准确的摘要,必须利用语义领域的先验知识和文本结构信息。这类算法准确度高,但应用范围受领域限制。算法涉及到信息抽取技术、从特定数据库中生成报告和事件摘要的技术。 第二类为领域无关算法。这是基于统计的算法,同时利用语言学技术来识别文档中的重要段落或语句。这类算法与领域无关,但精度低。算法涉及到统计技术、健壮的浅层语言技术。其中统计技术与信息抽取中采用的相似,如向量空间模型、项频率和反文档频率TF/IDF。而语言技术从词汇相关度技术到健壮的首语重复解决策略。 第三类是两者相互融合得到的算法。 文本自动摘要经历几十年的研究,主要采用以下四种方法:基于统计的自动摘要、基于理解的自动摘要、基于信息抽取的自动摘要和基于结构的自动摘要。 目前主流的中文分词算法有以下3种： 1、 基于字符串匹配的分词方法 这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下： 1）正向最大匹配法（由左到右的方向）； 2）逆向最大匹配法（由右到左的方向）； 3）最少切分（使每一句中切出的词数最小）。 还可以将上述各种方法相互组合，例如，可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少使用。一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。统计结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245.但这种精度还远远不能满足实际的需要。实际使用的分词系统，都是把机械分词作为一种初分手段，还需通过利用各种其它的语言信息来进一步提高切分的准确率。 一种方法是改进扫描方式，称为特征扫描或标志切分，优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机械分词，从而减少匹配的错误率。另一种方法是将分词和词类标注结合起来，利用丰富的词类信息对分词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，从而极大地提高切分的准确率。 对于机械分词方法，可以建立一个一般的模型，在这方面有专业的学术论文，这里不做详细论述。 2、 基于理解的分词方法 这种分词方法是通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统还处在试验阶段。 3、 基于统计的分词方法 从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。定义两个字的互现信息，计算两个汉字X