第11章自然语言理解(AI应用3版)案例.ppt

* 11.6.3 汉语词性的标注方法 难点：兼类词的词类歧义排除 意义 （1）对文本进行文法分析或句法分析等更高层次的文本加 工提供基础。 （2）通过对标注过的语料进行统计分析等处理。 具有两个或两个以上词性的词 * 11.6.4 汉语词义的标注方法 难点：多义词的歧义排除 意义 （1）对文本中的每个词根据其所属上下文给出它的语义编码。 （2）语音合成、情报检索、机器翻译、自动校对等。 * 第11章 自然语言理解及其应用 11.1 自然语言理解的概念与发展历史 11.2 语言处理过程的层次 11.3 词法分析 11.4 句法分析 11.5 语义分析 11.6 基于语料库的大规模真实文本的处理 11.7 机器翻译 11.8 语音识别 11.9基于隐马尔科夫模型的语音识别方法 * 11.7 机器翻译 11.7.1 机器翻译方法概述 11.7.2 范例式机器翻译系统 11.7.3 翻译记忆 * 11.7.1 机器翻译方法概述 发展历程： 直接型 间接型 中间语言型 转换型 * 1. 直译式翻译系统(direct translation MT systems) 通过快速的分析和双语词典，将原文译出。 2. 规则式翻译系统(rule-based MT systems) 先分析原文内容，产生原文的句法结构，再转换成译 文的句法结构，最后再生成译文。 11.7.1 机器翻译方法概述 * 3. 中介语式翻译系统(inter-lingual MT systems) 先生成一种中介的表达方式，而非特定语言的结构； 再由中介的表达式，转换成译文。 基于规则的翻译 中介语式的翻译 11.7.1 机器翻译方法概述 * 4. 知识库式翻译系统(knowledge-based MT systems) 翻译经常需要除了词汇之外的各种知识，使用知识获取工具(knowledge acquisition)，以充实知识库的内容。 5. 统计式翻译系统(Statistics-based MT systems ) 1994年，IBM公司A．Berger等用统计方法和各种不同的对齐技术，给出了统计式机器翻译系统Candide。 统计机器翻译是目前非限定领域机器翻译中性能较佳的一种方法。 统计机器翻译的基本思想是通过对大量平行语料进行统计分析，构建统计翻译模型，进而使用此模型进行翻译。 11.3.1 机器翻译方法概述 * 5. 统计式翻译系统(Statistics-based MT systems ) 目前，Google翻译的大部分语言采用的都是统计机器翻译的方法，在美国国家标准局组织的机器翻译评测中遥遥领先。 此外，基于统计法机器翻译系统还有Bing翻译和百度翻译等。 统计机器翻译的首要任务是为语言的产生构造某种合理的统计模型，并在此统计模型基础上，定义要估计的模型参数，并设计参数估计算法。早期的基于词的统计机器翻译采用的是噪声信道模型，采用最大似然准则进行无监督训练，而近年来常用的基于短语的统计机器翻译则采用区分性训练方法，一般来说需要参考语料进行有监督训练。 11.3.1 机器翻译方法概述 * 6. 范例式翻译系统(example-based MT systems ) 将过去的翻译结果，当成范例，产生一个范例库。 7. 混合式翻译系统(Statistics-based MT systems ) 同时采用多种策略，以达成翻译的目标。 11.3.1 机器翻译方法概述 * 范例式翻译系统（example-based MT systems ） 对被翻译的源语句通过翻译实例数据库检索出要翻译的 目标语句。 范例式机器翻译系统主要包括两部分工作： （1） 建立翻译实例数据库。 （2）翻译的操作检索算法。 11.7.2 范例式机器翻译系统 * 基本原理：用户利用已有的原文和译文，建立起一个或多个翻译记忆库，在翻译过程中，系统将自动有哪些信誉好的足球投注网站翻译记忆库中相同或相似的翻译资源（如句子、段落等），给出参考译文，使用户避免无谓的重复劳动，只需专注于新内容的翻译。翻译记忆库同时在后台不断学习和自动储存新的译文，变得越来越“聪明”。 德国塔多思（TRADOS）公司的翻译记忆软件基于UNICODE（统一字符编码），支持55种语言，覆盖了几乎所有语言版本的 Windows95／98／NT 。 11.7.3 翻译记忆 * 第11章 自然语言理解及其应用 11.1 自然语言理解的概念与发展历史 11.2 语言处理过程的层次 11.3 词法分析 11.4 句法分