第1讲：自然语言处理概述.pdf

深度学习与自然语言处理 第一课：自然语言处理是什么 主讲人 郑元春 中科院虚拟经济与数据科学研究中心博士 生 ，从事机器学习与自然语言处理的研究 工作。 NLP发展 NLP研究方向 难点 发展现状 资源 课程介绍 1. NLP发展 自然语言处理(Natural language processing)是 一门涉及计算机科学和人工智能，在电脑与自然语 Artificial Computational Intelligence Linguistics 言之间相互协作的学科。特别的是，它的宗旨是能 够用电脑来自如的处理大量的自然语言数据。 NLP 1. NLP发展  基于统计的经验主义 统计特性，数据驱动 Artificial Computational  基于规则的理性主义 Intelligence Linguistics 语言规则，人工设计  基于深度学习 NLP 统计模型+深度建模 1. NLP发展  1920-1960 经验主义在方法在语言学、心理学、人工智能等领域中处于主宰的地位，人们在研究语言运用的规律、言语习得、认知过程 等问题时，都是从客观记录的语言、语音数据出发，通过统计、分析和归纳，并以此为依据建立相应的分析或是处理系统。  1960-1980 理性主义逐渐占据上风，主要是乔姆斯基的形式语言理论的提出。这一时期人们更加的关心人类本身的思维，想通过破解思 维方式的方法来建立语言的抽象系统。这一时期的理论成果不仅为计算机语言学的进一步发展奠定了坚实的理论基础，而且对我们今天研究人 类语言能力的这一智能行为，促进认知科学、语言学、心理学和人工智能等相关学科的发展，基友重要的理论意义和现实意义。  1980-1990 关注工程化和实用化的解决问题办法，经验主义方法被人们重新认识并得到迅速发展。很多人开始研究和关注基于大规模语 料的统计方法被引入到自然语言处理中并发挥出重要的作用。  1990-2000 理性主义和经验主义两种不同观点的争论，随后两种理论都认识早自己的不足，相互融合取长补短，共同发展。  1980-1990 Baidu的xu等人开始研究使用神经网络来对语言概率进行建模并通过实验证实其有效性。之后自然语言处理的研究的热点开 始向深度学习靠拢。 1. NLP发展  项目举例 Date Project Introduction 1950 图灵测试 [link] 最出名的人工智能测试 1954 Georgetown 项目[link] 自动翻译 1956 Noam Chomsky Markov process/Formal language Theory 1964-1966 ALPAC报告 终结了自动翻译时代 1. NLP发展  项目举例 Date Project Introducti