Fast Translation Rule Matching for Syntax-based Statisti.ppt

10/22/2009 计算所讨论班，北京 Fast Translation Rule Matching for Syntax-based Statistical Machine Translation Hui Zhang, Min Zhang, Haizhou Li, and Chew Lim Tan Institute of Infocomm Research National University of Singapore 问题 匹配 不匹配 方法1：穷举所有子树 把测试集中所有可能用到的子树全部枚举出来，然后逐个处理规则集中的每条规则，检查规则中的树是否在子树集中。 子树 子树数量 方法1：穷举所有子树 优点： 类似于短语模型的匹配方法，十分简单。 只用扫描一遍规则表 缺点： 需要枚举指数级的子树，内存需求过大 方法2：穷举所有规则 不穷举树中的所有子树 用规则集中的所有规则去匹配测试集中的树 匹配 不匹配 方法2：穷举所有规则 优点： 不必去枚举指数级的子树，尤其适用于压缩森林 空间复杂度最低 缺点： 对测试集中的每个树节点都需要扫描一遍所有规则，时间复杂度太高 作者的方法：规则的压缩结构 超路径 另一条超路径 超树 把规则集作为一个大超树 匹配 实验结果 翻译方向：汉英 双语语料库：FBIS 单语语料库：Gigaword 3 Xinhua portion 系统：基于森林的树到串系统 评价指标：BLEU4，大小写敏感 速度比较 树高对BLEU值的影响 规则类型分布 森林大小对匹配速度的影响 压缩率 压缩率 总结 基于超树的规则匹配方法简单有效，尤其适用于基于森林的树到串系统，使通过增大树高来获得更强的表达能力成为可能。 谢谢！ * * ACL/IJCNLP 2009 Presented by Yang Liu IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 规则集 规则集中的哪些规则能够用来翻译这棵树？ IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 IP NP VP NP NP X1 X2 X3 左边的规则能用来翻译右边的树吗？ IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 IP NP VP NP NP X1 X2 X3 VV 规则集 IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 子树集 IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 IP NP VP IP NP VP NP NP NN NN 新华社 声明 IP NP VP NP NP VP NP NN VV NN 新华社 有关 规定 NP NP NP NN NN 新华社 声明 NP NP NP NN 新华社 VP VP NP VV NN 有关 规定 NN 规定 总共可能有多少棵树？ IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 1 2 1 2 1 2 1 2 9 9 100 已知一棵树，其子树的数量是指数级的 规则集 IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 IP NP VP NP NP X1 X2 X3 左边的规则能用来翻译右边的树吗？ IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 IP NP VP NP NP X1 X2 X3 VV IP NP VP NP NP NN 新华社 IP NP VP NP NP NN 声明 IP NP VP NP NP NN 新华社 # # # # # IP NP VP NP NP , # NN , # , # 新华社 , # , # IP NP VP NP NP NN 声明 IP NP VP NP NP , # # , NN , # # , 声明 , # # # # # # IP NP VP NP NP , # # , NN , # # , 声明 , # NN , # , # 新华社 , # , # IP NP VP NP NP , # # , NN , # # , 声明 , # NN , # , # 新华社 , # , # TOP … IP NP VP NP NP , # # , NN , # # , 声明 , # NN , # , # 新华社 , # , # TOP … IP NP VP NP NP VP NP NN NN VV NN 新华社 声明 有关 规定 6.21 0.