人工智能：自然语言的理解PPT教学课件.pptx

模块5自然语言的理解

模块5自然语言的理解本模块讲述自然语言处理的定义、问题和难点,自然语言处理分析和理解的一般过程,以及自然语言处理的应用领域。通过本模块的学习,读者应达到以下学习目标:(1)了解自然语言处理的研究范围和研究难点;(2)了解自然语言处理的基础技术和应用技术;(3)理解自然语言处理的应用领域和发展方向。

5.1认识自然语言处理自然语言处理有时也称为自然语言理解,旨在利用计算机分析自然语言语句和文本,抽取重要信息,进行检索、问答、自动翻译和文本生成。人工智能的目的是使计算机能听、会说、理解语言、会思考、解决问题,甚至会创造,它包括运算智能、感知智能、认知智能和创造智能几个层次的技术。计算机在运算智能即记忆和计算的能力方面已远超人类,而感知智能则是计算机感知环境的能力,包括听觉、视觉和触觉等,相当于人类的耳朵、眼睛和手。目前感知智能技术已取得飞跃性的进步;而认知智能包括自然语言理解、知识和推理,有待深入研究;创造智能尚无太多研究。比尔·盖茨曾说过,自然语言理解是人工智能皇冠上的明珠。NLP的进步将会推动人工智能整体进展。5.1.1从Siri到微软小娜

5.1认识自然语言处理关于语音合成,目前业界里用得比较多的基本上是单元挑选(unitselection)和参数合成(parametricsynthesis)这两种技术。5.1.1从Siri到微软小娜1.Siri的技术解析在给定足够多的高品质语音数据的前提下,单元挑选合成能够产生较高质量的声音,因此这种方法是目前商业产品中广泛使用的语音合成技术。,参数合成可以合成明白易懂且非常流利的语音,但是这种方法合成声音的整体质量较低。因此,当语料库较小或内存空间不够时,通常会使用参数合成。

5.1认识自然语言处理语音合成的步骤如下:5.1.1从Siri到微软小娜1.Siri的技术解析(1)搭建高质量的文本转语音(TTS)系统。为了覆盖各种人类声音,苹果公司首先找各种类型的人员在专业的工作室里录制10~20小时的语音内容。(2)训练文本到语音的数据。借助由文本分析模块生成的符号语言表征,语音合成系统采用机器学习方法来学习文本与语音之间的对应关系,然后根据不可见文本的特征值预测语音特征的值。

5.1认识自然语言处理微软小娜是微软针对Windows和WindowsPhone设备研发的智能私人助手,能够通过开始屏幕或设备上的有哪些信誉好的足球投注网站按钮来呼出小娜,目前微软在Windows10系统中已添加了语音助理小娜。如今的小娜已经拥有超过1.4亿活跃用户,在数以十亿级计的设备上与人们进行交流,所覆盖的语言已经有十几种,包括中文。微软背后有一个称为语音理解智能服务(languageunderstandingintelligentservice,LUIS)的平台,提供了用户的意图理解能力、实体识别能力、对话的管理能力等。小娜就是LUIS主要的使用者。5.1.1从Siri到微软小娜2.微软小娜技术解析

5.1认识自然语言处理下面介绍语音助理小娜中包含的一些主要技术:5.1.1从Siri到微软小娜2.微软小娜技术解析(1)机器阅读理解。在有哪些信誉好的足球投注网站引擎中,机器阅读理解技术可以用来为用户的有哪些信誉好的足球投注网站(尤其是问题型的查询)提供更智能的答案。(2)机器创作。机器可以做很多理性的东西,也可以做出一些创造性的东西。(3)知识和常识的引入。随着人们对人机交互(如智能问答和多轮对话)要求的不断提高,如何在自然语言理解模块中更好的使用领域知识,已经成为目前自然语言处理领域中一个重要的研究课题。(4)低资源的NLP任务。以机器翻译(machinetranslation)为例,对于稀缺资源的小语种翻译任务,在没有常规双语训练数据的情况下,首先通过一个小规模的双语词典(如仅包含2000左右的词对),使用跨语言词向量的方法将源语言和目标语言词映射到同一个隐含空间。(5)多模态学习。考虑自然语言和其他模态之间的互动,并从中进行学习,这就是多模态学习。

5.1认识自然语言处理文本分类指用计算机设备对文本集(或其他实体或物件)按照一定的分类体系或标准进行自动分类标记。常用的分类算法为决策树、Rocchio、朴素贝叶斯、神经网络、向量机、线性最小平方拟合、kNN、遗传算法、最大熵、GeneralizedInstanceSet等。文本分类一般包括文本的表达、分类器的选择与训练、分类结果的评价与反馈等过程,其中文本的表达又可细分为文本预处理、索引和统计、特征抽取等步骤。文本分类系统的总体功能模块如下:5.1.2处理的主要范畴1.文本分类(1)预处理。将原始语料格式化为同一格式,便于后续的统一处理。(2)索引。将文档分解为基本处理单元,同时降低后续处理的开销。(3)统计。词频统计,项