计算思维与人工智能导论电子教案9：自然语言处理.pptx

自然语言处理

1.问题的提出

自然语言是指人类日常使用的语言，如汉语、英语等。语言是思维的载体，是人类交流思想、表达情感最自然、最直接、最方便的工具。人类历史上以语言文字形式记载和流传的知识占知识总量的80％以上。

无处不在的网络、无处不在的通讯、堆积如山的文档，构成了当今社会信息爆炸的基本特征。当现代化的信息传播手段给人们的生活和工作带来极大便利的同时，也使人们面临许多难以克服的困难和障碍。有关专家指出，语言障碍是21世纪社会全球化所面临的主要困难之一。

2.基本概念

定义：自然语言处理“自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。”美国计算机科学家BillManaris《计算机进展》

定义：自然语言处理自然语言处理就是利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术。－冯志伟，《自然语言的计算机处理》

定义：自然语言理解(NaturalLanguageUnderstanding,NLU)自然语言理解是人工智能早期的研究领域之一。从微观上讲，语言理解是指从自然语言到机器(计算机系统)内部之间的一种映射。从宏观上讲，语言理解是指机器能够执行人类所期望的某些语言功能。这些功能包括回答有关提问、提取材料摘要、不同词语叙述、不同语言翻译。－蔡自兴、徐光佑，《人工智能及其应用》清华大学出版社，2004

关于“理解”的标准

定义：计算语言学(ComputationalLinguistics)计算语言学是利用电子数字计算机进行的语言分析。虽然许多其他类型的语言分析也可以运用计算机，计算分析最常用于处理基本的语言数据－例如，建立语音、词、词元素的搭配以及统计它们的频率。－《大不列颠百科全书》

计算语言学是语言学的一个研究分支，用计算技术和概念来阐述语言学和语音学问题。已开发的领域包括自然语言处理，言语合成，言语识别，自动翻译，编制语词索引，语法的检测，以及许多需要统计分析和领域（如文本考释）。－戴维?克里斯特尔，《现代语言学词典》

近几年来，自然语言处理技术迅速发展成为一门相对独立的学科，倍受关注，而且该技术不断与语音技术相互渗透和结合形成新的研究分支，因此，很多人在谈到“计算语言学”、“自然语言处理”或“自然语言理解”这些术语时，往往默认为同一个概念。

汉语已经不再只是我们自己使用和关注的语言，外国人可能喜欢她或者讨厌她，但不敢藐视她！针对汉语的处理技术早已成为学术界和企业界共同关注的问题，汉英两大强势语言的自动翻译问题则是人类语言技术中最具挑战性的研究课题。

3.NLP的产生与发展

源自机器翻译(MachineTranslation,MT)英国AndrewDonaldBooth和美国W.Weaver提出机器翻译的概念。随着机器翻译研究的进展，各种自然语言处理技术应运而生，并逐渐发展壮大，形成了这一语言学与计算机技术相结合的新兴学科。

A.D.Booth，数学家、物理学家，曾研究利用X射线确定晶体结构，二战中参与计算机研制，在程序化计算机研究中成绩卓著；香农，信息论先驱1920至1932年曾在Wisconsin大学教授数学；1932至1955年担任RockefellerInstitute自然科学部主任。

曲折的发展历程：1960S中期之前：萌芽期1960S中期到1970S中后期：步履维艰—1966年美国科学院发表ALPAC报告1970S中后期到1980S后期：复苏1980S后期至今：蓬勃发展

4.NLP的层次

5.NLP的基本任务

5.1语音识别1.定义语音识别也称为自动语音识别（AutomaticSpeechRecognition，ASR），它是以语音为研究对象，通过语音信号处理和模式识别让机器理解人类语言。

2.语音识别的应用场景文字输入录音整理聊天机器人语音转换语音检索智能声控会场速记字幕转换人机交互

5.2光学字符识别1.定义光学字符识别（OpticalCharacterRecognition，OCR）是利用光学和计算机技术将纸质文档中的文本转换成图像文件，然后利用图像处理技术和字符识别算法辨别图像文件上的字符，并将所获信息存在计算机文件中的一种技术。

2.语音识