基于VC++人工分词及词性标注辅助程序设计与实现.docVIP

基于VC++的人工分词及词性标注辅助程序的设计和实现 马创新, 李斌 （南京师范大学语言科技中心，南京，210097） 提要：在语言研究中，经常要对语料进行分词和词性标注，我们使用VC++设计了一个人工分词及词性标注辅助程序，它能够根据预定的规则对标注后的语料进行检验，发现违反规则的情况就会给予提示，并且还设计了一个小键盘，减轻了标注者记忆词性标记的负担。我们使用这个辅助程序对大量的古代汉语和现代汉语的语料进行标注，结果证明，这个辅助程序既能够有效处理GB2312编码的简体汉字语料，也能够处理Unicode编码的繁体汉字语料，有效地提高了人工分词及词性标注的速度和正确率。 关键词：分词；词性标注；辅助程序；VC++； Design and Realization of the Assistant Program For Manual Word-Segmented and Part of Speech-Labeled Based on VC++ Ma Chuangxin, Li Bin ( Language Science and Technology Center, Nanjing Normal University, Nanjing, China , 210097 ) 【Abstract】 The researchers who study language often segment words and label part of speech in study language. We designed and realized an assistant program for manual word-segmented and part of speech-labeled using VC++. It can check the sentences according on preconcerted formulae. If it find the things don’t accord with the formulae, it will give advices. Furthermore, we design a small keyboard, it can relieve the researchers’ burden to remember tags. We use the assistant program to label lots of ancient books and modern books. The result proved it not only can deal with the material with simplified Chinese character, but also treat with the material with the original complex Chinese character. It can improve the speed and preciseness effectively. 【Key words】 word-segmented; part of speech-labeled; assistant program; VC++ 1 人工分词及词性标注辅助程序 在语言研究中，经常要对语料进行分词和词性标注，分词和词性标注是进行句法分析、句义分析的基础。但是在人工分词或词性标注时，经常会出现多加了分隔符（一般是空格）或是少加了分隔符等问题，有时当词性标记很多时，标注者在记忆这些词性标记时会有很大困难。我们设计的人工分词及词性标注辅助程序能够根据预定的规则对标注后的语料进行检验，发现违反规则的情况就会给予提示，并且还设计了一个小键盘，减轻了标注者记忆词性标记的负担。通过实验表明，使用这个辅助程序能够有效提高人工分词及词性标注的速度和正确率。 2 人工分词及词性标注辅助程序的功能及特点 人工分词及词性标注辅助程序的主界面如图1所示， （图1） 使用这个程序做分词及词性标注时，点击“选择语料库”命令按纽就可以选取保存在磁盘中的格式为txt的待标语料，在“从第几句开始标注”前面的编辑框中输入开始标注的句