人工智能自然语言处理发展报告.pdf

人工智能自然语言处理发展报告

1.自然语言处理

1.1.自然语言处理概念

自然语言是指汉语、英语、法语等人们日常使用的语言，是人类社会发展演变

而来的语言，而不是人造的语言，它是人类学习生活的重要工具。概括说来，自

然语言是指人类社会约定俗成的，区别于如程序设计的语言的人工语言。在整个人类

历史上以语言文字形式记载和流传的知识占到知识总量的80%以上。就计算机应用

而言，据统计，用于数学计算的仅占10%，用于过程控制的不到5%，其余85%左

右都是用于语言文字的信息处理。

处理包含理解、转化、生成等过程。自然语言处理，是指用计算机对自然语言

的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分

析、理解、生成等的操作和加工。实现人机间的信息交流，是人工智能、计算机科

学和语言学所共同关注的重要问题。自然语言处理的具体表现形式包括机器翻译、文

本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等。可以说，自然语

言处理就是要计算机理解自然语言，自然语言处理机制涉及两个流程，包括自然语

言理解和自然语言生成。自然语言理解是指计算机能够理解自然语言文本的意义，

自然语言生成则是指能以自然语言文本来表达给定的意图。

语音分析词法分析句法分析语义分析语用分析

图5-1自然语言理解层次

自然语言的理解和分析是一个层次化的过程，许多语言学家把这一过程分为

五个层次，可以更好地体现语言本身的构成，五个层次分别是语音分析、词法分析、

句法分析、语义分析和语用分析。

语音分析是要根据音位规则，从语音流中区分出一个个独立的音素，再根据

音位形态规则找出音节及其对应的词素或词。

词法分析是找出词汇的各个词素，从中获得语言学的信息。

句法分析是对句子和短语的结构进行分析，目的是要找出词、短语等的相互

关系以及各自在句中的作用。

语义分析是找出词义、结构意义及其结合意义，从而确定语言所表达的真正

含义或概念。

语用分析是研究语言所存在的外界环境对语言使用者所产生的影响。

在人工智能领域或者是语音信息处理领域中，学者们普遍认为采用图灵试验

可以判断计算机是否理解了某种自然语言，具体的判别标准有以下几条：

第一，问答，机器人能正确回答输入文本中的有关问题；

第二，文摘生成，机器有能力生成输入文本的摘要；

第三，释义，机器能用不同的词语和句型来复述其输入的文本；

第四，翻译，机器具有把一种语言翻译成另一种语言的能力。

1.2.自然语言的理解发展历史

自然语言处理是包括了计算机科学、语言学心理认知学等一系列学科的一门

交叉学科，这些学科性质不同但又彼此相互交叉。因此，梳理自然语言处理的发展

历程对于我们更好地了解自然语言处理这一学科有着重要的意义。

图5-2自然语言发展历程

132

自然语言处理

1950年图灵提出了著名的“图灵测试”，这一般被认为是自然语言处理思

想的开端，20世纪50年代到70年代自然语言处理主要采用基于规则的方法，

研究人员们认为自然语言处理的过程和人类学习认知一门语言的过程是类似的，

所以大量的研究员基于这个观点来进行研究，这时的自然语言处理停留在理性主

义思潮阶段，以基于规则的方法为代表。但是基于规则的方法具有不可避免的缺

点，首先规则不可能覆盖所有语句，其次这种方法对开发者的要求极高，开发者不

仅要精通计算机还要精通语言学，因此，这一阶段虽然解决了一些简单的问题，但是

无法从根本上将自然语言理解实用化。

70年代以后随着互联网的高速发展，丰富的语料库成为现实以及硬件不断

更新完善，自然语言处理思潮由经验主义向理性主义过渡，基于统计的方法逐渐

代替了基于规则的方法。贾里尼克和他领导的IBM华生实验室是推动这一转变的

关键，他们采用基于统计的方法，将当时的语音识别率从70%提升到90%。在这一

阶段，自然语言处理基于数学模型和统计的方法取得了实质性的突破，从实验室

走向实际应用