北京智源大会 专题报告-07语音与自然语言处理.pdfVIP

●1●

整理：智源社区何灏宇

ChristopherManning，斯坦福人工智能实验室（SAIL）主任，斯坦福大学语言学和计算机科学系机器学习领域、

斯坦福人类中心人工智能研究所（HAI）副主任。Manning的研究目标是以智能的方式实现人类语言的处理、理

解及生成，研究领域包括树形RNN、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理

解等，是一位NLP领域的深度学习开拓者。他是国际计算机学会(ACM)、国际人工智协会（AAAI）、国际计算

语言学会（ACL）等国际权威学术组织的Fellow，曾获ACL、EMNLP、COLING、CHI等国际顶会最佳论文奖，

著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教材。

ChristopherManning的演讲主题是“Linguisticstructurediscoverywithdeepcontextualwordrepresentations”，

即“基于深度上下文词表征的语言结构发现”。

在演讲中，ChristopherManning根据对语言学结构的学习程度，将语言模型分为三个发展阶段：早期基于概

率统计、无法学习语言结构的黑暗时代（LanguageModelsinTheDarkAges）；之后则是启蒙时代的神经语言

模型（EnlightenmenteraneuralLanguageModels），特点是具备一定学习语言结构的能力；2018年始，基于

Transformer结构的大参数量预训练模型（BigLanguageModels）大行其道，Manning发现预训练语言模型的

参数中包含着非常多的语言结构信息，并在本次演讲中进行了详细的解析。

一、语言模型：用数学给语言建模

在报告中，ChristopherManning首先引出了语言模型的概念。语言模型是对自然语言进行数学建模的工具，它

提供了一种能够用数学模型去表示自然语言的方法。现如今通用的语言模型大多采用序列化概率模型的思想，

比如在给定的语境下预测下一个词出现的概率。

图1：根据语境预测下一个词

语言模型如N-Gram语言模型、基于循环神经网络的语言模型及预训练语言模型等都在不同的任务上被广泛使

用，且能达到理想的效果。然而，这些语言模型真的学到了语言结构吗？还是说它们仅仅是在句子层面上学习

词的概率分布？Manning给出了他的答案。

●2●

二、黑暗时代：N-Gram语言模型

N-Gram语言模型，是通过统计数据中给定词在长度为n的上文的条件下出现的频率来表征这些词在相应语境

下的条件概率，如

图2：N-Gram例子

N-Gram语言模型是神经网络出现之前构建语言模型的通用方法，该方法虽然通过引入马尔科夫假设，但是其

参数量依然很大。另外，N-Gram语言模型通过平滑和回退策略解决数据稀疏的问题。但是N-Gram语言模型

学到了多少人类语言的结构信息？有些语言学家们认为几乎没学到。虽然这样的模型可能会包含一些简单的常

识性知识，比如“船”通常会与“沉没”、“起航”等词共同出现，或者模型会学习到一些简单的词法，比如类

似于“冠词-形容词-名词”这样的句子，但是N-Gram语言模型对于“名词”这样的词性概念和语言结构规

则是没有概念的。

因此，在那个时代，如果想要让模型学习到语言结构，必须通过人工标注的方式获取特定语言结构的训练数据，

然后训练相应的分类器。采用这一方法固然是能让语言模型学习到语言结构，但是标注成本太高且数据的迁移

性差，似乎并不是一个好的解决方案。

图3：人工标注的语法

Manning随后表示，想要让语言模型学习到自然语言的结构知识，只学习字面上的信息是远远不够的，但幸好，

自N-Gram语言模