人工智能翻译的发展.pptVIP

人工智能翻译 付文青 14S101053 HIT 人工智能翻译的发展全文共19页，当前为第1页。 目录 机器翻译概述 1 机器翻译的原理及方法 2 理解语言，机器翻译的根本瓶颈 3 人工智能翻译的发展全文共19页，当前为第2页。 机器翻译 人工智能翻译的发展全文共19页，当前为第3页。 机器翻译的定义 机器翻译（Machine Translation），是使用电子计算机把一种自然语言（源语言，Source Language）翻译成另外一种自然语言（目标语言，Target Language）的一种学科。 这门新学科同时也是一门新技术，它涉及到语言学，计算机科学，数学等许多部门，是非常典型的多边缘交叉学科。 —在语言学中，机器翻译是计算语言学的研究领域 —在计算机科学中，机器翻译是人工智能的研究领域 —在数学中，机器翻译是数理逻辑和形式化方法的研究领域 人工智能翻译的发展全文共19页，当前为第4页。 机器翻译的方法 按转换层面划分 —直接翻译方法 —句法转换方法 —语义转换方法 —中间语言方法 按知识表示形式划分 —基于规则的方法 —基于实例的方法 —统计的方法 人工智能翻译的发展全文共19页，当前为第5页。 基于句法的统计机器翻译方法 基于统计的翻译方法是IBM的学者提出，可以归纳为三个重要部分，分别为语言模型的建模、翻译模型的建模以及解码三个子部分。 语言模型的建模问题是统计估计中的一个经典问题，即根据当前词预测下一个词。它是语音识别或光学字符识别的基础，同时也被用来进行拼写纠错、手写体识别以及统计机器翻译。 人工智能翻译的发展全文共19页，当前为第6页。 基于句法的统计机器翻译方法 基于短语的统计翻译方法的问题 ?泛化能力差 –中国大使馆、美国大使馆 →月球大使馆？ ?产生的句子不符合语法 –短语的简单组合，没有句法结构 ?无法表示不连续的短语搭配的翻译 –召开了一次关于…的会议 hold a meeting on … ?无法进行长距离的语序调整 ?解决办法：引入句法结构！ 人工智能翻译的发展全文共19页，当前为第7页。 基于句法的统计机器翻译方法 形式上基于句法的模型 –不使用任何语言学知识 –所有句法结构直接从未标注的语料库中自动学习得到 语言学上基于句法的模型 –使用语言学知识 –语言通常要从句法树库训练得到 ?树到串模型：只在源语言端使用语言知识 ?串到树模型：只在目标语言端使用语言知识 ?树到树模型：在源语言端和目标语言端都使用语言知识 人工智能翻译的发展全文共19页，当前为第8页。 基于句法的统计机器翻译方法 基于树到串对齐模板的翻译模型 ?基于树到串对齐模板（简称 TAT ）的统计翻译模型是一种在源语言进行句法分析的基于语言学句法结构的统计翻译模型 ?树到串对齐模板既可以生成终结符也可以生成非终结符既可以执行局部重排序也可以执行全局重排序 ?从经过词语对齐和源语言句法分析的双语语料库上自底向上自动抽取 TAT 人工智能翻译的发展全文共19页，当前为第9页。 基于句法的统计机器翻译方法 解码 解码问题最重要的是如何设计合适的有哪些信誉好的足球投注网站策略来获得最佳翻译效果，以及如何解决空间爆炸问题，为尽可能在有限的时间内找到最优解，必须采用启发式算法。最常用的有柱有哪些信誉好的足球投注网站算法、A*算法以及堆栈有哪些信誉好的足球投注网站算法。 人工智能翻译的发展全文共19页，当前为第10页。 基于句法的统计机器翻译方法 解码 ?自底向上 ?柱有哪些信誉好的足球投注网站（ Beam Search ） ?对于每一棵子树，找到所有与其根节点匹配的 TAT ，计算其候选译文（ Candidate ） ?候选译文（ Candidate ）的数据结构： –TAT 序列 –部分翻译结果 –累积的特征值 –累积的概率值 人工智能翻译的发展全文共19页，当前为第11页。 基于句法的统计机器翻译方法 柱有哪些信誉好的足球投注网站算法 采用宽度优先的方式构建有哪些信誉好的足球投注网站树，在有哪些信誉好的足球投注网站树的每层采用启发式函数对扩展的状态进行评分，通过剪枝选取N个最优的状态进行扩展 人工智能翻译的发展全文共19页，当前为第12页。 基于句法的统计机器翻译方法 剪枝策略 *假设合并 —汉语词位置相同 —最后两个英语词相同 —上一次翻译的汉语短语的最后一个词的位置相同 *柱状图剪枝 若假设栈中假设的数目超过设定的最大值，将假设栈中评分低的剪去 *阈值剪枝 设置栈中假设的最低概率值，当新假设小于阈值的时候进行剪枝 人工智能翻译的发展全文共19页，当前为第13页。 基于句法的统计机器翻译方法 人工智能翻译的发展全文共19页，当前为第14页。 机器