基于清华树库的有标记联合结构统计分析.docVIP

基于清华树库的有标记联合结构统计分析 [摘 要] 本文详细统计和分析了有标记联合结构内部和外部的语言学特征。内部特征方面主要考察了该结构的词性序列分布、短语序列分布。外部特征方面主要从该结构的句法功能分布和左右边界特征词两个方面进行考察。这些考察一方面为从量化的角度研究该结构提供了相对精确的数据，另一方面为计算机自动识别该结构提供了语言学知识。 [关键词] 有标记联合结构 内部语言学特征 外部语言学特征 清华汉语树库 [分类号] TP391 Analyzing the Linguistic Features of Coordination with Overt Conjunctions, Based on Tsinghua Chinese Treebank Wang Dongbo Xiejing (Department of Information Management, Nanjing University, Nanjing 210093，China) The article counts and analyzes the external and internal linguistic features of COC in detail. The internal linguistic features are the following: the distribution of Part-Of-Speech and phrases sequences. The external linguistic features are the following: the distributing of syntactic function and the features of border lexicons. For one thing, the statistics data offers the linguistic knowledge for identifying COC, for another thing, the accurate data is used to investigate the COC. [Keywords] Coordination with Overt Conjunctions Internal Linguistic Features External Linguistic Features Tsinghua Chinese Treebank 1引言 汉语联合结构一直是短语结构自动识别中的一个难点[1]，作为联合结构重要组成部分的有标记联合结构由于其内部结构的复杂性以及结构边界的跨度比较大更是汉语组块识别中一块难啃的“硬骨头”。有标记联合结构本身十分复杂，它的自动识别，将为汉语树库的构建作好预处理工作，提高句法分析器的工作效率，例如， 在“在/p 这/r 一/m 年/q 中/f ，/w 中国/ns 的/u 【改革/vn 开放/vn 和/c 现代化/vn 建设/vn】 继续/v 向前/v 迈进/v 。”句子中，如果把有标记联合结构“改革/vn 开放/vn 和/c 现代化/vn 建设/vn ”预先识别出来，就解决了句法生成树的一个大问题，使句子生成变的“豁然开朗” [2]。联合结构本身是一种离心结构，无论是从内部组成成份，还是从整体语法功能分布上看自动识别都十分困难，如“ 新/a 、/w 奇/a 、/w 美/a 及/c 舞台/n 综合/b 魅力/n ”这一简单的有标记联合短语，利用原先的统计方法效果就不会很理想，必须采用新的方法和策略，这对浅层句法分析中语块的识别和分析[3]研究会有一定的借鉴。汉语句法分析对机器翻译的研究具有重要的影响，而有标记联合结构作为机器翻译的一个重要部分，正确识别该结构可以改善机器翻译的质量，同样，有标记联合结构的自动识别作为浅层句法分析的一部分对信息的自动提取也会有一定的帮助。 对于有标记联合结构的语言学特征和自动识别，有关学者进行了多方面的考察和研究。Agarwal,Boggess[4] 对已经进行了句法和语义标注的文本，使用基于规则的方法对英语有标记联合结构进行了识别，平均准确率为81.6%。由于是在已经深加工过的语料上识别有标记联合结构，相对来说比较简单。Akitoshi Okumura and Kazunori Muraki [5]利用有标记联合结构的内部结构平行和对称的特性，开发了英语有标记联合结构识别模型，该模型在英日翻译系统中精确率达到了75%。由于识别的是技术报告的文本，相对来说难度不是很大。Sadao Kurohashi,Makoto Nagao[6]使用动态计算的方法计算日语联合结构各组成部分的相