[经济学]第7章 自然语言理解.ppt

第7章 自然语言理解 2 自然语言理解的概念与发展历史 语音分析 词法分析 句法分析 语义分析 句子的自动理解 机器翻译 自然语言理解系统应用举例 3 自然语言理解的概念与发展历史 语音分析 词法分析 句法分析 语义分析 句子的自动理解 机器翻译 自然语言理解系统应用举例 自然语言理解的概念与发展历史 1.什么是自然语言 自然语言是指人类语言集团的本族语，如汉语、英语、日语等。自然语言是相对于人造语言而言的。人造语言是指世界语或计算机的各种程序设计语言。众所周知，语言是思维的载体，是人际交流的重要工具。在人类历史上以语言文字形式记载和流传的知识占到知识总量的80％以上。就计算机的应用而言，据统计用于数学计算的仅占10％，用于过程控制的不到5％，其余85％左右都是用于语言文字的信息处理。在信息化社会中，语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。 2、自然语言的构成（如下图） 自然语言理解的概念与发展历史 6 微观角度：从自然语言到机器内部的一个映射。 宏观角度：使机器能够执行人类所期望的某种语言功能。 （1）回答问题：计算机正确地回答用自然语言输入的有关问题。 （2）文摘生成：机器能产生输入文本的摘要。 （3）释义：机器能用不同的词语和句型来复述输入的自然语言信息。 （4）翻译：机器能把一种语言翻译成另外一种语言。 自然语言理解的概念与发展历史 1. 萌芽时期（20世纪40年代末50年代初） 2. 以关键词匹配技术为主的时期 （20世纪60年代始） A. Donald Booth W. Weaver M. Chomsky 形式语言和文法 3. 以句法语义分析技术为主的时期 （ 20世纪70年代后） 4. 基于知识的自然语言理解发展时期 5. 基于大规模语料库的自然语言理解发展时期 68年B. Raphael：语义检索系统SIR J. Weizenbaum：心理医疗ELIZA 72年W. Woods：语音接口LUNAR T. Winograd ：英语对话SHEDLU 自然语言理解的概念与发展历史 8 自然语言理解的概念与发展历史 语音分析 词法分析 句法分析 语义分析 句子的自动理解 机器翻译 自然语言理解系统应用举例 9 声音表达句子的层次：音素→音节→音词→音句。 在有声语言中,最小的、可独立的声音单元是音素,音素是一个或一组音,它可与其他音素相区别。如pin和bin中分别有/p/和/b/这两个不同的音素,但pin, spin和tip中的音素/p/是同一个音素,它对应了一组略有差异的音。 语音分析就是根据音位规则，从语言流中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。 语音分析 10 自然语言理解的概念与发展历史 语音分析 词法分析 句法分析 语义分析 句子的自动理解 机器翻译 自然语言理解系统应用举例 词法分析 定义：从句子中切分出单词，找出词汇的各个词素 ，并确定其词义。 例：unchangeable： un-change-able 英语词法分析 特点：切分单词容易，找出词素复杂。 例：importable分为 import-able或 im-port-able 12 通过词法分析可以从词素中获得许多语言学信息。 英语中词尾中的词素“s通常表示名词复数,或动词第三人称单数,“ly是副词的后缀,而“ed通常是动词的过去式与过去分词等,这些信息对于句法分析都是非常有用的。 另一方面,一个词可有许多的派生、变形,如work,可变化出works, worked, working, worker, workings, workable,workability等。这些词若全部放入词典将是非常庞大的,而它们的词根只有一个。 词法分析 13 词法分析 例如：对于单词catches、ladies可以做如下的分析。 catches ladies, 词典中查不到 catche ladie 修改1：去掉s catch ladi 修改2：去掉e lady 修改3：把i变成y 这样，在修改2的时候，就可以找到catch，在修改3的时候就可以找到lady。 ly副词后辍； ed动词过去分词 词法分析算法举例： repeat look for word in dictionary if not found then modify the word Un