《信息处理系统语言文字评测规范（草案）》三个规范研制报告.PDF

《信息处理系统语言文字评测规范（草案）》三个规范 研制报告 冯志伟 执笔 一 研制背景 （一） 必要性、目的、意义和作用 信息处理系统是基于计算机技术、网络互联技术、现代通讯技术和各种软件技术，提 供信息服务的人机系统，是由人和计算机等共同组成的能进行信息的收集、传输、分析、加 工、处理、存储、更新和维护的系统。语言文字是信息的主要载体，语言文字信息处理系统 的评测对于信息处理系统的研制和开发，具有重要的意义和作用。通过语言文字信息处理系 统的评测有助于推进信息处理系统的进一步发展。 （二）社会和经济效益 随着信息技术的高速发展，信息处理系统已经成为社会语言文字传播和应用的主要工具 之一，如何评价常见、典型的信息处理系统的语言文字处理水平和规范化情况是计算机专家 和语言学家共同的关注点，也是国家语言文字工作主管部门所关心的问题和系统研制和开发 部门特别关注的问题，对于我国的现代化和信息化，具有重要的社会和经济效益。 （三）立项情况 《信息处理系统语言文字评测规范》（草案）序列软规范是国家语委语言文字十五科研 重点项目，由教育部语言文字应用研究所承担研制任务。研制目的是给出一个自然语言信息 处理系统（例如，语音合成和文语转换系统、语音识别系统、机器翻译系统、语料库系统等） 的语言文字评测规范，可供自然语言信息处理系统的语言文字评测以及有关的管理工作参考 使用。由于《信息处理系统语言文字评测规范》包含的内容非常广泛，经过征求专家意见。 目前我们先制订三个规范（草案）：《文语转换和语音识别系统语言文字评测规范（草案）》 《机器翻译系统语言文字评测规范（草案）》《语料库系统语言文字评测规范（草案）》， 作为《信息处理系统语言文字评测规范（草案）》序列软规范的一个部分。 1 二 研制过程 规范的研制过程主要包括对当前主要汉语信息处理系统的调研和对已有信息处理系统 评测方法的研究，在调查和研究的基础上，课题解决了本规范研制遇到的诸多问题，初步形 成了《信息处理系统语言文字评测规范》（征求意见稿），在征求意见稿的基础上，根据专 家意见，我们又把这个征求意见稿分解成三个软规范：《文语转换和语音识别系统语言文字 评测规范》（草案）《机器翻译系统语言文字评测规范》（草案）《语料库系统语言文字评 测规范》（草案）。2006 年 8 月 20 日，教育部语言文字信息管理司组织专家对于课题组提 交的三个规范草案进行鉴定，并且通过了鉴定。课题组根据鉴定会上专家提的意见又进行了 进一步的修改，并在更加广泛的范围内征求业内专家的意见，历时两年多，最后形成了现在 的三个规范文本。 （一）研制 1．信息处理系统及其相关评测的调研 2003 年项目立项后，课题组对国内外的语音合成和文语转换、语音识别、机器翻译、 语料库等自然语言信息处理系统及其开展评测的情况进行了深入的调查研究，在调查研究 中，我们特别认真地考察了如下的研究成果： 1）国家863 智能接口评测的原理、方法、技术和内容的研究成果； 2 ）我国在语音信号处理系统评测中使用的语音测听方法和语音清晰度诊断性压韵测试 法（Diagnostic Rhyme Test ，DRT ）的研究成果； 3 ）我国在军用通讯系统评测中使用的音质平均评价分（Mean Opinion Score ，MOS ）测 试法的研究成果； 4 ）我国在广播节目声音质量评测中使用的主观评价方法和技术指标要求的研究成果； 5 ）北京大学计算语言学研究所俞士汶教授关于机器翻译评测的研究成果； 6 ）山西大学计算机系刘开瑛教授和东北大学计算机系姚天顺教授关于汉语文本切分和 标注评测的研究成果； 7 ）华中师范大学计算机系何婷婷博士关于语料库元数据标准的研究成果； 8 ）国外在机器翻译评测中提出的 BLEU 和 NIST 等自动评测方法以及国外在自然语言 信息处理评测研究方面的有关外文文献（参看参考文献