汉英双向时间和数字命名实体的识别和翻译系统翟飞飞翟飞飞夏睿.pdf

汉英双向时间和数字命名实体 的识别与翻译系统 翟飞飞 夏睿 周玉 宗成庆 翟飞飞 夏睿 周玉 宗成庆 中科院自动化所 模式识别重点实验室 中科院自动化所 模式识别重点实验室 问题的提出 •无论是新闻或口语，时间数字都比较常 见，占据比重较大； • 表达形式比较规范，构造形式简单，有较 为明显的规律可循性； •对于翻译评测中的测试集而言，时间数字 经常可能归为未登陆词范畴； •综上所述，如果对翻译中的时间数字不做 特殊处理，对最终的翻译性能造成的影响 较大。 基本思路 •时间数字处理基本方法： 基于统计的机器学习方法：利用人工标注的语料 进行训练，学习模型从语言现象中学习识别和翻译规 则。缺点在于常常受到训练语料规模和表现形式的约 束，而且不同语料可能采取的表达和翻译方式不完全 一致，比如口语与新闻差别很大； 基于规则的方法：主要是通过人工总结来编制识别 和翻译规则，不依赖语料规模，也不需要标注和训 练，具有简单高效的优点； 基本思路（续） •将时间类和数字类命名实体细化为六类， 并分别制定识别规则和翻译规则： 1、数量（Number） 2 、序数词（Ordinal） 3 、数码（Figure） 4 、时间（ Clock ） 5 、日期（Date） 6 、星期（Week） 识别规则设计 • 包括实体边界识别和确定实体类型两个 任务 数量和数码识别 – 获取阿拉伯数字串和汉语、英语词串； – 以左邻词和右邻词为依据区分数量与数码词。 时间、日期、序数词、星期识别 – 获取对应类别的名词词缀； – 利用习惯和常用形式对获取的名词和已识别得到 的数字表达式进行组合； – 以左右相邻词或中间连接词作为识别标志。 英语识别规则设计 实体类别 主要识别规则介绍 1. 英语数量单词组合。如：two thousand five hundred and fifty （二千五百五十） 2. 带point英语数量词组合。如：one point five 数量 million （一百五十万）. （Number ）3. 混合阿拉伯数字表示数量。如：1.53 million （一 百五十三万） 4. 分数、百分数。如：three sevenths （七分之三） thirty two percent （百分之三十二） 数码 连续英文数字组成数码。如：one two three （一二 （Figure ） 三） 序数 1. 英文单词组合。如：thirty second （第三十二） （Ordinal ） eighteenth （第十八） 2. 阿拉伯数字加后缀。如：36 th （第36 ） 英语识别规则设计 实体类别 主要识别规则介绍 1. 两个英文单词组合。如：eight twenty-two 时间 （八点二十二分） （Clock ） 2. 带past 或to