基于翻译规则的统计机器翻译.doc

第４０ 卷 第２ 期 ２０１３ 年２ 月计 算 机 科 学Ｖｏｌ．４０Ｎｏ 第４０ 卷 第２ 期 ２０１３ 年２ 月 计 算 机 科 学 Ｖｏｌ．４０Ｎｏ．２ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｆｅｂ２０１３ 基于翻译规则的统计机器翻译 刘 颖 姜 巍 （清华大学中文系 北京１０００８４） 摘 要 扩展 ＨＭＭ 模型可以解决词语对齐结果与句法约束冲突，从而更好地进行词语对齐。 在短语对齐基础上利 用目标语言 的短语结构树抽 取翻译规则。 采用扩 展 ＣＹＫ 算 法 ＣＹＫＡ＋ 作 为 系 统 的 解 码 器，该 算 法 可 以 处 理 非 乔 姆 斯基范式的翻译规则；采用两轮解码算法在解码过程中整合语言 模型。 实验表明，与传统词语对齐模型 相 比，改 进 的 ＨＭＭ 词语对齐模型具有更高的对齐准确率，并且翻译结果的 ＢＬＥＵ 评测得分更高。 采用翻译规则的系统在不同 数 据集上具有更稳定的翻译结果。 两轮解码算法与立方剪枝算法具有相近的解码质量，但前者解码速度更快。 关键词 统计机器翻译，扩展 ＨＭＭ 模型，翻译规则，ＣＹＫ＋ 算法，ＢＬＥＵ 评分 中图法分类号 文献标识码 ＴＰ３９１．１ Ａ ＳｔａｔｉｓｔｉｃａｌＭａｃｈｉｎｅＴｒａｎｓｌａｔｉｏｎＢａｓｅｄｏｎＴｒａｎｓｌａｔｉｏｎＲｕｌｅｓ ＬＩＵ Ｙｉｎｇ ＪＩＡＮＧ Ｗｅｉ （ＤｅｐａｒｔｍｅｎｔｏｆＣｈｉｎｅｓｅＬａｎｇｕａｇｅａｎｄＬｉｔｅｒａｔｕｒｅ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｉｍｐｒｏｖｅｄｈｉｄｄｅｎ Ｍａｒｋｏｖｍｏｄｅｌｗａｓｕｓｅｄｔｏａｌｉｇｎｗｏｒｄｓａｎｄｓｏｌｖｅｔｈｅｉｎｃｏｎｓｉｓｔｅｎｃｙｂｅｔｗｅｅｎｗｏｒｄａｌｉｇｎｍｅｎｔ ａｎｄｐｈｒａｓｅｓｔｒｕｃｔｕｒｅｓ．ＴｒａｎｓｌａｔｉｏｎｒｕｌｅｓｗｅｒｅｅｘｔｒａｃｔｅｄｂａｓｅｄｏｎａｌｉｇｎｅｄｐｈｒａｓｅｓａｎｄＥｎｇｌｉｓｈｐｈｒａｓｅｔｒｅｅｓ．Ａｎｅｘｔｅｎｄｅｄ ＣＹＫ －ＣＹＫ＋ ａｌｇｏｒｉｔｈｍ ｗａｓｕｓｅｄａｓｔｈｅｄｅｃｏｄｅｒａｎｄａｔｗｏ－ｐａｓｓ－ｄｅｃｏｄｉｎｇａｌｇｏｒｉｔｈｍ ｗａｓｐｒｏｐｏｓｅｄｆｏｒｉｎｔｅｒｇｒａｔｉｎｇｔｈｅ ｌａｎｇｕａｇｅｍｏｄｅｌｄｕｒｉｎｇ ｄｅｃｏｄｉｎｇ，ｗｈｉｃｈｃａｎ ｄｅｃｏｄｅｎｏｎ－Ｃｈｏｍｓｋｙ ｎｏｒｍａｌｆｏｒｍ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗ ｔｈｅ ＢＬＥＵｓｃｏｒｅｏｆｉｍｐｒｏｖｅｄ ＨＭＭｉｓｈｉｇｈｅｒｔｈａｎｔｈｅｓｃｏｒｅｏｆＨＭＭ，ａｎｄｔｈｅｔｒａｎｓｌａｔｉｏｎｑｕａｌｉｔｙｏｆｔｒａｎｓｌａｔｉｏｎｒｕｌｅｓｉｓｂｅｔ－ ｔｅｒｔｈａｎｐｈｒａｓｅ－ｂａｓｅｄｍａｃｈｉｎｅｔｒａｎｓｔｉｏｎ．ＴｈｅＢＬＥＵｓｃｏｒｅｏｆｔｗｏ－ｐａｓｓ－ｄｅｃｏｄｉｎｇａｌｇｏｒｉｔｈｍｉｓｃｌｏｓｅｔｏｔｈｅｓｃｏｒｅｏｆｃｕｂｅ ｐｒｕｎｅａｌｇｏｒｉｔｈｍａｎｄｄｅｃｏｄｉｎｇｔｉｍｅｃｏｓｔｓｌｅｓｓ． Ｋｅｙｗｏｒｄｓ Ｓｔａｔｉｓｔｉｃａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ，Ｉｍｐｒｏｖｅｄｈｉｄｄｅｎｍａｒｋｏｖｍｏｄｅｌ（ＨＭＭ），Ｔｒａｎｓｌａｔｉｏｎｒｕｌｅ，ＣＹＫ＋ ａｌｇｏｒｉｔｈｍ， ＢＬＥＵ 基于句法的翻译模型利用句法分析器或树 库 的 信 息，期 引言 １ 望获得句法信息的指导。 基于句法的模型应当能够兼容所有 ＩＢＭ 的 Ｂｒｏｗｎ等人于１９９３ 年提出了基于词 对齐的５ 个 复杂度递增的模型—ＩＢＭ 模 型 １ 至 ５［１］，实现了统计机器翻 译。１９９６年，Ｖｏｇｅｌ提出基于隐马尔克夫模型（简称 ＨＭＭ）的 统计翻译［２］。Ｏｃｈ系统比较了ＩＢＭ 模型和 ＨＭＭ 模型，实现了 ＩＢＭ 模型 １ 至 模 型 ５ 和 ＨＭＭ 模 型 词 语 对 齐 Ｇｉｚａ＋ ＋［３］。 ＨｅｉｄｉＪ．Ｆｏｘ指出，Ｇｉｚａ＋ ＋ 的词语对齐结果与句法约束出现 冲突的可能性很高，Ｇｉｚａ＋ ＋ 存在大量这类错误的词语对齐 结果［４］。Ｏｃｈ等人提出的对齐模板技术可以解决数据稀疏问 题［５］。Ｏｃｈ用最大熵模型将各种各样的语言特征和统计信息 融合到统计机器翻译中［６］。 在统计机器翻译中比较深入地利 用句法信息的有吴德恺的反向转换文法［７］、Ｃｈｉａｎｇ 提 出 的 层 次化短语模型［８，９］、Ｙａｍａｄａ 和 Ｋｎｉｇｈｔ的 树 串 模 型［１０］、Ｇａｌｌｅｙ 的 树 串 模 型［１１，１２］、刘洋和刘群的树到串对齐模板的翻译模 型［１３］、宗 成 庆 的 改 进 树 串 模 型［１４］ 和 Ｍｅｌａｍｅｄ 的