自然语言处理PPT全套教学课件.pptx

自然语言处理

NaturalLanguageProcessing

第一章绪论

全套课件

Contents

目录

语言是人类区别于其他动物的本质特性，人类的多种智能都与语言有着密切

的关系。人类的逻辑思维以语言为形式传达，人类的绝大部分知识也是通过语言文字的形式进行记载从而流传下来。因而，用自然语言与计算机进行通信，具有明显的理论意义和实际价值，它必然也成为了人工智能的一个核心发展方向。

人工智能(AI)

机器学习(ML)

章节概述

BASE

TASK

自然语言处理(NLP)

机器视觉(CV)

深度学习(DL)

RESARCHGLD

UAGE

章节概述

然而，自然语言处理经历过如何的发展历程，现在又面临什么样的瓶颈?从

研究内容和应用角度具体落地为哪些任务?还有现在最热门的深度学习技术是如何运用在自然语言处理领域的呢?本章将对这些问题进行简要的概括介绍。

深度学习中的白然语言处理

绪论

白然语言处理综述

任务介招

1.1.1

1.1.2

什么是自然语言处理

概念、学科领域

自然语言处理的发展历史

1.1自然语言处理发展

自然语言处理(NaturalLanguageProcessing,NLP)是人工智能和语言学交叉领域下的分支学科。该领域主要探讨如何处理及运用自然语言、自然语言认知(即让计算机“懂”人类的语言)、自然语言生成系统(将计算机数据转化为自然语言),以及自然语言理解系统(将自然语言转化为计算机程序更易于处理的形式)。

所谓“自然语言”,其实就是我们日常生活中使用的语言(在这里还包括书面文字和语音视频等),人们熟知的汉语、日语、韩语、英语、法语等语言都属于此范畴。至于“自然语言处理”,则是对自然语言进行数字化处理的一种技术，是通过语音文字等形式与计算机进行通信，从而实现“人机交互”的技术。

1.1.1什么是自然语言处理-概念

自然语言处理是一门多学科交叉的技术，其中包括：

语言学

计算机科学(提供模型表示、算法设计、计算机实现)数学(数学模型)

心理学(人类言语心理模型和理论)

哲学(提供人类思维和语言的更深层次理论)统计学(提供样本数据的预测统计技术)

电子工程(信息论基础和语言信号处理技术)生物学(人类言语行为机制理论)

1.1.1什么是自然语言处理-学科领域

1.1.2自然语言处理的发展历史

1.1.1什么是自然语言处理

1.1自然语言处理发展

1.1.2自然语言处理的发展历史

自然语言处理的相关研究最早是从机器翻译系统的研究开始的。20世纪60年代，国外对机器翻译曾有过大规模的研究工作，投入了大量的人力物力财力。但是，受到客观历史因素的限制，当时人们低估了自然语言的复杂性，语言处理的理论和技术均不成熟，所以进展并不大。机器翻译研究发展大致可分为三个时期。

初创期(1947-1970)

复苏期(1970-1976)

繁荣期(1976-至今)

1.1.2自然语言处理的发展历史

初创期(1947-1970)

计算机问世(1946)的第二年，英国工程师布斯和美国工程师威弗最早提出了利用计算机进行自动翻译。1952年，在洛克菲勒基金会的大力支持下，一些英美学者在美国麻省理工学院召开了第一次机器翻译会议。1954年，《机器翻译》杂志开始公开发行。同年，成功地进行了世界上第一次机器翻译试验。尽管这次试验用的机器词汇仅仅包含了250个俄语单词和6条机器语法规则，但是它第一次向公众和科学界展示了机器翻译的可行性，并且激发了美国政府部门在随后十年对机器翻译进行大量资助。随着研究的深入，人们看到不是机器翻译的成功，而是一个又一个它无法克服的局限。

第一代机器翻译系统设计上的粗糙所带来的翻译质量的低劣，最终导致了一些人对机器翻译的研究失去信心。有些人甚至错误地认为机器翻译追求全自动质量目标是不可能实现的。机器翻译的研究就此陷入低谷。

1.1.2自然语言处理的发展历史

复苏期(1970-1976)

尽管机器翻译的研究困难重重，但是法国、日本、加拿大等国仍然坚持机器翻译的研究。在20世纪70年代初期，机器翻译又出现了复苏的局面。在这个时期，研究者们普遍认识到，原语和译语两种语言的差异，不仅表现在词汇上的不同，而且还表现在句法结构上的不同，为了得到可读性强的译文，必须在自动句法分析上多下功夫。

通过大量的科学实验，机器翻译的研究者逐渐认识到机器翻译过程本身必须保持原语和译语在语义上的一致，一个好的机器翻译系统应该把原语的语义准确无误地在译语中表现出来。于是，语义分析在机器翻译中