人工智能导论：自然语言处理PPT教学课件.pptx

自然语言处理第八章

知识结构

知识目标1.熟悉自然语言处理中的基本概念。2.了解自然语言处理的发展历程。3.掌握自然语言处理过程。

能力与素养目标1.通过学习相关的必威体育精装版技术掌握自主学习方法。2.能够具有自主学习、终身学习以及自我完善的意识。3.能认识到不断探索和学习的必要性。

专题拓展阅读市面上各类翻译软件层出不穷,通过翻译软件可以很轻松地实现从一种自然语言转换到另一种自然语言;图书馆里想要有哪些信誉好的足球投注网站文献,可以通过在计算机中输入关键字快速匹配出结果;线上购物时,基于人工智能的自动问答系统会同人一样用自然语言与用户交流;等等。可以看出,生活中的方方面面都会用到自然语言处理,如应用自然语言处理当中的语法分析、语义分析、篇章理解等技术,是目前人工智能界最前沿的研究领域。自然语言处理就是用人工智能来处理、理解以及运用人类语言。它在生活中具有广泛的应用,今天在一些领域(比如机器翻译),其处理准确率已经超过90%,但要达到人类水平,仍然存在较大难度。语言是人类大脑在高度进化之后的逻辑思维的综合体现,拥有语言能力是人类区别于其他动物的最大特性之一。人类的思维逻辑、知识的表示和记录都是以语言文字为载体和输出形式的。因此对人类语言的研究便成为人工智能的核心任务之一,自然语言处理应运而生。自然语言处理(naturallanguageprocessing,NLP)是人工智能的一个分支,它使计算机能够像人类一样理解、处理和生成语言。有哪些信誉好的足球投注网站引擎、机器翻译以及语音助理均由该技术提供支持。

文献文献（拼音wénxiàn），汉语词语，意思为有历史意义或研究价值的图书、期刊、典章。出自《论语·八佾》

点击以上图标观看微课视频：拓展语言比拼微课

目录8.1自然语言处理概述8.2自然语言处理过程8.3分词算法8.4情感分析

自然语言处理概述8.1

自然语言处理是计算机科学、人工智能和计算语言学的一个交叉领域,关注计算机和人类(自然)语言之间的交互,特别是关注计算机编程以有效处理大型自然语言语料库。自然语言处理中的挑战通常涉及自然语言理解、自然语言生成、语言与机器感知的连接、对话系统或它们的某些组合。以上对自然语言处理的定义来自维基百科,通俗一点讲,自然语言处理就是利用计算机、人工智能甚至计算语言学等技术对人类语言进行处理的过程。在本书中,人类语言主要是指人类语言的文字形式,不包括语音部分。要想了解自然语言处理,需分成两部分来理解:自然语言和处理。8.1.1自然语言处理的定义

自然语言指人类的语言,是自然而然地随着人类社会发展演变而来的语言,如汉语、英语、法语等人类日常使用的语言,是人类生活、学习的重要工具。相对于自然语言,还有一种语言叫作计算机语言,比如C语言,以及在深度学习中会用到的Python语言。8.1.1自然语言处理的定义1.自然语言的定义2.处理的定义处理包含理解、转化、生成等过程。(1)理解:输入一个自然语言,能正确理解其含义。(2)转化:可以将输入的自然语言转化成文本等多种形式。(3)生成:以另一种自然语言的形式输出。

自然语言处理的发展大致经历了以下三个阶段。8.1.2自然语言处理的发展历程1.萌芽期(20世纪50—70年代)20世纪50—70年代是自然语言处理的萌芽期,随着电子计算机的诞生和人工智能概念的产生,自然语言处理作为人工智能最早研究的一个主要方向登上了历史舞台,这个阶段人们主要采用符号主义和基于语言学规则的研究方法,将人类语言解释为符号以及基于规则的符号连接逻辑,要求研究人员不仅要精通计算机,并且要精通语言学。研究人员为其投入大量精力,但取得的效果并不理想,无法从根本上将自然语言处理实用化。

8.1.2自然语言处理的发展历程人们最早对自然语言处理的探索始于对机器翻译的研究。早在1947年,美国科学家韦弗(Weaver)博士和英国工程师布斯(Booth)就提出了利用计算机进行语言自动翻译的设想。在20世纪50年代人工智能这个概念诞生之后,人们对自然语言处理的解决方法倾向于让计算机读懂人类语言,并在此基础上开展机器翻译等工作。要想让计算机读懂人类语言,就需要让计算机理解人类语言中的语法规则、词性、构词法等。因此,基于规则的方法成为当时的主流方法,在此期间,麻省理工学院的语言学教授诺姆·乔姆斯基(NoamChom_x0002_sky)的形式语言理论对自然语言处理影响巨大,诺姆·乔姆斯基提出了著名的乔姆斯基层级,包括四个层次的语法规则,并数学化地表述了每一层的语言表达能力。

麻省理工学院——美国私立研究型大学麻省理工学院（MassachusettsInstituteofTechnology），简称为“麻省理工”或“MIT”，威廉·巴顿·罗杰斯于1861年创办于美国马萨诸塞州剑桥市，主校区依查尔斯河而建，是一所享誉世界的顶尖私立