面向数学领域的命名实体识别算法研究.pdfVIP

摘要

摘要

面向数学领域的命名实体识别算法研究

在自然语言处理的各项任务中，命名实体识别作为基础任务来说十分重要，它的

准确率决定了后续任务的效果。目前命名实体识别算法的研究大多只限于新闻领域，

主要识别的实体为人名、地名等，虽然取得了很好的成果，但是在实际应用过程中，需

要识别特定领域的命名实体。本文从数学领域出发，探究识别数学命名实体的算法模

型。

面向数学领域的命名实体识别任务指从数学科技文本中识别出数学命名实体，即

数学专有名词，是从海量的文献中挖掘分析我们所需知识的基础工作。本文将目前命

名实体识别任务的主流经网络模型Bi-LSTM–CRF应用于数学领域的命名实体识

别任务中时，发现F1分数为84.74%，而其在新闻领域的F1分数为91.35%，因此本文

对Bi-LSTM–CRF模型进行改进，使其能够更好地识别数学命名实体。

首先，由于在传统文本表示过程中，词向量无法体现单词多义性的特征，本文将

SCI-BERT预训练语言模型引入到模型中，建模数学科技论文场景的词向量表示，同

时加快模型收敛速度；其次为了更好地识别命名实体边界，本文使用数学领域词典构

建词汇边界特征，使得词向量具有该词在命名实体中的位置信息；最后，本文将单层

经网络改进为堆叠经网络，通过加深经网络层数去更好地拟合数学命名实体的

特征。

由于面向数学领域的命名实体识别任务的标注语料稀缺，因此本文使用正向最大

匹配算法标注数学语料，匹配词表为自建数学领域词典。本文算法使用的数据集即为

该标注数学语料。

本文提出了一个SCI-BERT–Bi-LSTM–CRF经网络模型，通过实验证明了本

文模型达到比模型Bi-LSTM–CRF更好的研究效果：命名实体的F1分数由84.74%

提高至90.02%，同时也展望了其在数学科技论文写作以及数学科技文本分类两方面的

I

摘要

应用前景。

关键词:

命名实体识别，数学命名实体，条件随机场，BERT，SCI-BERT

II

Abstract

Abstract

ResearchonNamedEntityRecognitionAlgorithminMathematicsField

Inthetasksofnaturallanguageprocessing,namedentityrecognitionisveryimportant

asabasictask,anditsaccuracydeterminestheeectofsubsequenttasks.Atpresent,the

researchofnamedentityrecognitionalgorithmsismostlylimitedtonewsfield.Themain

entitiesrecognizedarepersonnames,locationnamesandsoon.Althoughgoodresultshave

beenachieved,inthepracticalapplicationprocess,wepreferdomainspecificnamedentities.

Thispaperexploresthenamedentityrecognitionalgorithminmathematicsfield.

Thenamedentityr