LSTM神经网络模型权值及门控参数量化方法研究.pdf

中文摘要 摘 要 随着人工智能的快速发展，深度神经网络模型的应用场景日趋复杂，而相应网 络规模快速扩大。如何利用有限的计算资源实现一个更加复杂的神经网络模型，或 者如何在同等计算资源开销下实现更大的数据处理吞吐量，成为深度神经网络模 型研究中日益重要且具有深远意义的课题。 当前研究中关于自然语言处理领域占据主导地位的循环神经网络模型的量化 研究较为匮乏。而众多循环神经网络模型变形中，LSTM （Long Short-Term Memory， 长短期记忆）模型具有最为广泛的应用。故本文以 LSTM 模型中非常具有代表性 的Bi-LSTM-CRF （CRF ，Conditional Random Field ，以条件随机场为后端分类器的 双向长短期记忆网络）模型为基准，采用一阶残差量化和Gumbel Softmax 的方法 对基准模型进行量化实验。并提出全新的利用权值参数学习抵消门控参数量化误 差的量化方法。 其中本文第 2 章比较并分析了5 种循环神经网络模型，并选取其中性能表现 最佳的Bi-LSTM-CRF 模型作为后续章节实验的基准模型。第3 章中完成了将卷积 神经网络中一阶残差量化方法推广至对 LSTM 权值等参数进行二值量化的模型设 计与实验，实验证明这一方法可以有效降低LSTM 权值等参数量化带来的性能损 失。第4 章中，本文实验表明Gumbel Softmax 方法存在应用局限性，在此基础上， 本文实验应用新提出的量化方法，即在反复迭代中对门控参数进行有损量化，并利 用量化后的结果调整权值参数优化过程中反向传播的梯度，进而由权值参数学习 抵消门控参数量化误差所造成的影响。在实体识别数据集上，采用新门控参数量化 方法后，F1 得分相比于基准模型仅下降0.7% 。而在结合权值参数量化和门控参数 量化方法后，同数据集实验中，F1 得分相比基准模型仅仅下降0.3% 。 本文实验结果在算法层面证明了上述量化方法的有效性，而本文量化方法均 为面向硬件设计而选取。在权值量化中，权值矩阵中的每个元素均量化为±1，因 而在硬件设计中可以用1bit 表示，权值参数存储开销下降96.87% 。而门控参数量 化中，本文选取在硬件设计中可以高效实现的“0 ，0.5 ，1”量化方案。在上述量化 之后，LSTM 模型中大量乘法计算可以转变为加法运算及移位运算。因此本文研究 的结果在后续研究中可以拓展到高效能神经网络模型硬件设计中。 关键词：人工智能；自然语言处理；长短期记忆；循环神经网络；量化方法 I 英文摘要 Abstract With the rapid development of Artificial Intelligence, the application scenarios of DNN (Deep Neural Network) is becoming more and more complex, and the scale of corresponding networks is expanding rapidly. How to use a limited computing resource to implement a more complex DNN model, or how to achieve greater data processing throughput under the same computing resource overhead, has become an increasingly important and significant topic in the research of DNN models. The research on Quantization Methods of RNN (Recurrent Neural Network) models, which plays an important role in the field of NLP (Natural Language