基于词语对齐融合提高统计机器翻译质量.ppt

基于词语对齐融合提高统计机器翻译质量 张春越 哈尔滨工业大学机器智能与翻译研究室 第一页，共二十二页。 提纲 研究动机 两种词对齐结果分析 词对齐结果融合策略 实验设置与结果分析 结论与未来工作 第二页，共二十二页。 研究动机 词对齐是当前主流机器翻译技术的基础 目前广泛使用的是Giza++实现的IBM Model4 对齐模型 近年来，研究者也相继提出不少其他的词对齐方法 不同的词对齐工具并没有绝对意义上的优劣之分 目前学术界对词对齐质量和机器翻译性能之间的关系还没有一个明确的共识 第三页，共二十二页。 本文切入点 给定两种差异较大的词对齐工具 ，在同一语料上进行词对齐获取 利用这两组不同词对齐的语料共同训练机器翻译模型，是否可以提高机器翻译性能？ 第四页，共二十二页。 提纲 研究动机 两种词对齐结果分析 词对齐结果融合策略 实验设置与结果分析 结论与未来工作 第五页，共二十二页。 两种词对齐工具 IBM词对齐模型 GIZA++ 两个方向 “grow-diag-final” 合并为 n-to-m对齐 HIT-MITLAB词对齐模型 统计和词典相结合 贪心算法实现 第六页，共二十二页。 SSMT07语料上对齐结果差异度分析 Step1: 分别进行GIZA++词对齐(GIZA++双向一对多词对齐，然后采用“grow-diag-final”启发式策略获得双向词对齐，下文用 “G” 代称)和HIT-MITLAB词对齐(下文用 “H” 代称)； Step2: 对两组词对齐结果计算其并集(H∪G)、交集(H∩G)、差集(H-G, G-H)； Step3: 合并两组词对齐语料成为合并语料； Step4: 基于合并语料获取词汇概率表(lex.f2n, lex.n2f) ； Step5: 根据词汇概率表lex.f2n,lex.n2f，计算各个集合的词对齐关系的平均翻译分值。 Step6: 统计各种数据，分析两种词对齐信息是否具有明显差异。 第七页，共二十二页。 H、G词对齐集合统计 GIZA++获取了超过1千万的词对齐个数 而HIT-MITLAB只获得7百多万词对齐个数 H和G相同的词对齐数只占G本身的44.8%，占H本身67% 其他数据同样显示出，两者的差异非常明显 词对齐集合 H G H∩G H∪G H-G G-H 词对齐数 7,089,061 10,675,740 4,787,381 12,977,420 2,301,680 5,888,359 第八页，共二十二页。 各个集合的词对齐翻译平均分数（1） 假设S为一个词对齐集合，(f,e)为任意一个词对齐，Plex_f2n和Plex_n2f为词汇翻译概率表，则有 第九页，共二十二页。 各个集合的词对齐翻译平均分数（2） 两个均分都满足： H∩G H G H∪G G-HH-G 融合两者有希望获得性能上的改善 词对齐集合 H G H∩G H∪G H-G G-H 0.227434 0.194050 0.312255 0.168680 0.051011 0.097945 0.257496 0.212617 0.351393 0.185939 0.062196 0.099780 H、G词对齐平均词翻译概率统计 第十页，共二十二页。 提纲 研究动机 两种词对齐结果分析 词对齐结果融合策略 实验设置与结果分析 结论与未来工作 第十一页，共二十二页。 词对齐结果融合策略 IBM词对齐模型实验（G） HIT-MITLAB词对齐模型实验（H） 数据融合实验（HGdc） 训练语料: 将H与G两个训练语料直接合并 模型融合实验（HGmc） 将在H和G两组数据上分别训练得到的模型直接合并 第十二页，共二十二页。 提纲 研究动机 两种词对齐结果分析 词对齐结果融合策略 实验设置与结果分析 结论与未来工作 第十三页，共二十二页。 实验设置 实验平台 Moses 训练语料 SSMT07-811812句 开发集 SSMT07汉英开发集 测试集 SSMT07汉英测试集 第十四页，共二十二页。 对比实验结果 HGdc比G提高了近0.7个BLEU值 减少了未登录词（UNK）的数目 注：表中的PP代表后处理(Post Processing)，包括去掉 UNK，以及一些标点的前向粘结，如 It s - its , end . - end.。 .H、G、HGdc、HGmc实验结果 实验 BLEU BLEU after PP UNK数 H 18.24 18.84 463 G 19.61 20.15 477 HGdc 20.34 20.83 363 HGmc 19.39 19.94 363 第十五页，共