基于极性转移和lstm 递归网络的情感分析lstm with recursive .pdf

基于极性转移和LSTM 递归网络的情感分析 梁军，柴玉梅，原慧斌，高明磊，昝红英 郑州大学 信息工程学院，河南 郑州 450001 摘要：长短时记忆(long short term memory，LSTM)是一种有效的链式循环神经网络(recurrent neural 2 1 network，R NN )，被广泛用于语言模型、机器翻译、语音识别等领域。但由于该网络结构还是一种链式结 构，不能有效表征语言的结构层次信息，本文将LSTM 扩展到基于树结构的递归神经网络(recursive neural network，RNN)上，用于捕获文本更深层次的语义语法信息，并根据句子前后词语间的关联性引入情感极性 转移模型。实验证明本文提出的模型优于LSTM、递归神经网络等。 关键词：LSTM，递归神经网络，情感分析 中图分类号：TP391 文献标识码：A LSTM with Recursive Networks Based on Polarity Shifting for Sentiment Analysis LIANG Jun, CHAI Yumei, Yuan Huibin, Gao Minglei, ZAN Hongying School of Information Engineering, Zhengzhou University ,Zhengzhou, Henan 450001, China Abstract: The chain-structured long short-term memory (LSTM) has showed to be effective in a wide range of problems such as language model, machine translation and speech recognition. Because of the network is only a line chain , it cannot storage the structure of hierarchical information language. We extend it based tree structure to recursive neural network to capture more syntactic and semantic information, and sentiment polarity shifting model is introduced. Compared to LSTM, RNN etc, the proposed model achieves a state-of-the-art performance. Key words: LSTM，Recursive neural network， Sentiment analysis 1 引言 近年来随着学者对深度学习的不断探索，其在图像、语音识别领域都取得了重大进展。 与此同时在NLP 领域众多学者也在进行各种深入研究，尤其在利用神经网络进行语言模型建 立、文本特征学习和短文本情感分析方向都有突破。 在利用神经网络进行文本特征学习时需要首先要面对的问题就是对文本数据建模，通常 有三种模型：词袋模型（bag-of-words model）、序列化模型 （sequence model）和结构化 模型 （structure model）。这三种模型各有优劣，对于词袋模型，文本被看作是无序的词汇 集合，忽略语法甚至是单词的顺序，该模型被广泛应用于传统贝叶斯模型、LSA、LDA 等文 本分类模型中，被证明是简单有效的，但同时该模型的缺点也是十分明显的，它忽略了文本 本身的语法语义信息所以很难捕获到文本中深层的语义信息。而序列化模型则将文本看作是 有序的词语序列，这种模型考虑了文本的有序性以及词语间的关联性可以学习到一些词袋模 [1] 型无法学习到的语义信息，如 Bengio 等人提出的神经网络语言模型 就考虑了词语间的顺