汉语虚词用法在短语句法分析中的应用研究-计算机应用技术专业论文.docxVIP

万方数据 万方数据 摘要 摘要 摘要 句法分析是自然语言处理的基本任务之一，是语义理解、问答系统等自然语 言理解任务实现的基础。本文根据已有的现代汉语虚词用法知识库，初步探讨了 基于汉语虚词用法的短语边界识别在句法分析中的应用，将虚词用法应用于不同 短语边界识别方法；在此基础上进一步提出了基于短语边界的句法分析模型 Phrase_Based Parser。在 CTB8.0 数据集上进行的实验表明 Phrase_Based Parser 能够改正因某些短语边界错误而导致的错误句法树，平均准确率提升了 6.9%。 本文的主要研究工作如下： 1）根据现代汉语虚词用法知识库对 CTB8.0（Chinese Treebank8.0）中的虚词 分布进行了统计分析，统计显示在 CTB8.0 的全部词中虚词占有很重要的比 例。利用 CRF 模型对 CTB8.0 中的虚词用法进行自动识别标注。使用 Berkeley Parser 对 CTB8.0 的原语料进行句法分析，对得到的句法树进行错误分析， 发现包含虚词成分的短语边界平均错误率达 40.76%，可见短语边界的正确性 将会影响句法分析的准确率。 2）构建基于 CTB8.0 的语料库。本文构建了基于 CTB8.0 的标准短语边界标注语 料库，设计了一组短语标记符号，并构建了基于 CTB8.0 的短语标记树库。 3）研究基于虚词用法的规则和统计模型在介词短语、连词相关短语以及包含助 词“的”的短语边界识别中的应用，实验结果表明，基于规则的短语边界识 别结果平均准确率达到 47.06%；基于 CRF 模型的短语边界识别结果平均准确 率达到了 73.69%，基于 CNN 模型的短语边界识别结果平均准确达到了 75.54%。 4）提出了一个基于短语边界的句法分析模型 Phrase_Based Parser，在 CTB8.0 的数据集上的实验表明，对包含介词短语的句子，Phrase_Base Parser 的句 法分析结果比 Berkeley Parser 的结果 F 值提高了 2.72%，对包含连词相关 短语的句子 Phrase_Base Parser 的句法分析结果比 Berkeley Parser 的结果 F 值提高了 1.32%。 5) 提出了一个基于虚词用法的句法分析模型 Usage_Based Parser，将短语边界 识别的结果使用 Usage_Based Parser 进行句法分析。实验结果表明，介词 “据”的介词短语的句法分析结果准确率提升 20.69%，连词相关短语的句子 句法分析结果准确率平均提升 6.9%。 关键字：虚词用法 短语边界识别 CRF CNN 短语句法分析 I Ab Abstract Abstract As one of the basic tasks of natural language processing, Syntactic Analysis is the basis of the realization of natural language understanding tasks including semantic understanding, question answering system, etc According to the Chinese Function word usage Knowledge Base, this paper preliminarily discussed the application of phrase boundary recognition in Syntactic Analysis, then the usage of function words was applied to several phrase boundary recognition methods; On this basis, A syntactic analysis parser that based on phrase boundary recognition called Phrase_Based Parser was proposed. Experiments on CTB8.0 dataset show that Phrase_Based Parser could correct the wrong parsed trees that caused by some phrase boundary errors, average accuracy rate increased 6.9%. The work of this paper is as follows: 1）According to the Chine