机器翻译评测报告.pdf

机器翻译评测报告 2003 年 10 月 27 日上午，中文与接口技术评测组组织了汉英、英汉、汉日、日汉四个 项目的机器翻译评测。评测语料分为对话和篇章，均为奥运相关的体育，旅游，餐饮，交通， 天气等领域。中软网络技术有限公司，国防科技大学与厦门大学，哈尔滨工业大学机器翻译 研究室，中国电子信息产业发展研究院（CCID ），华建电子有限责任公司，南京大学计算机 系等单位的机器翻译系统参加了上述四个项目中的一个或者多个项目评测。事后我们组织专 家进行了人工评测，同时也用自动评测程序进行了自动评测，现将有关情况和评测结果报告 如下： 一．人工评测结果（满分为 1） 汉译英 单位简称 System1 System2 System3 System4 System5 对话 0.61575 0.438375 0.44625 0.731625 0.503875 篇章 0.40325 0.319375 0.315875 0.464375 0.376 英译汉 单位简称 System1 System2 System3 System4 对话 0.69 0.47325 0.7955 0.658625 篇章 0.615796 0.4411693 0.647637 0.615049 汉译日 单位简称 System1 System2 对话 0.6773334 0.3901667 篇章 0.5521666 0.367 日译汉 单位简称 System1 对话 0.485833 篇章 0.385333 二．人工评测说明 由于人工评测工作量较大，所以我们对每种语言的篇章和对话翻译结果只抽取了 200 （或201 ）句进行人工评测。 汉英，英汉的人工评测各由 4 位专家评分。 汉日，日汉的人工评测由 3 位专家评分。 专家的评分标准是《机器翻译评测大纲》中的评分标准。得分按照《机器翻译评测大纲》 中的计算公式计算。最后得分是各位专家评分的算术平均分。 三．自动评测结果 汉译英 单位简称 System1 System2 System3 System4 System5 对话 5.9489 5.4694 5.5567 7.7722 6.0575 篇章 5.3401 4.8462 4.6474 6.3113 5.5097 英译汉 单位简称 System1 System2 System3 System4 对话 5.9201 5.0898 6.7251 5.4604 篇章 5.7897 4.9034 6.6558 6.1942 汉译日 单位简称 System1 System2 对话 6.5899 4.9559 篇章 6.3890 4.4137 日译汉 单位简称 System1 对话 5.6883 篇章 6.3420 四、自动评测说明 1. 所有测试均使用 4 份参考译文。 2. 汉 译 英 评 测 使 用 NIST 官 方 网 站 上 公 布 的 mteval-v10.pl ， 下 载 地 址 为 ： /speech/tests/mt/resources/scoring.htm 。其余评测软件由评测组编写。N 取 5 。 五、各翻译系统翻译所用时间（秒） 所记录的时间有