基于注意力机制的时序预测模型.pdf

Encoder-Decoder

Encoder-Decoder通常称作编码器-解码器，是深度学习中常⻅的模型框架。Encoder和

Decoder部分可以是任意⽂字，语⾳，图像，视频数据，模型可以是CNN，RNN，LSTM，

GRU，Attention等等。

1.输⼊序列和输出序列的⻓度是可变的

2.它是⼀个典型的End-to-End算法，可以从原始数据获取,直接达到想要的结果

具体运⽤，以机器翻译为例，可以将英语翻译成德语。

缺点：

1.RNN结构的Encoder-Decoder模型存在⻓程梯度消失问题

2.对于较⻓的句⼦，我们很难寄希望于将输⼊的序列转化为定⻓的向量⽽保存所有有

效信息

3.即便LSTM加了⻔控机制可以选择性遗忘和记忆，随着所需翻译的句⼦难度增加，

这个结构的效果仍然不理想

Attention

意⼒机制借鉴了⼈类注意⼒的说法，⽐如我们在阅读过程中，会把注意集中在重要的信息上。

在训练过程中，输⼊的权重也都是不同的，注意⼒机制就是学习到这些权重。最开始attention

机制在CV领域被提出来，但后⾯⼴泛应⽤在NLP领域。

Attention主要为了解决信息过⻓导致信息丢失的问题，以机器翻译为例，它会寻找源语

句中相对应的⼏个词语，然后结合之前已经翻译的序列来翻译下⼀个词。

Attention的基本架构

TPA（TemporalPatternAttentionMechanism）

时序模式注意⼒机制在2019年提出，其通过使⽤CNN滤波器提取输⼊信息中的定⻓时序模

式，使⽤评分函数确定各时序模式的权值，根据权值的⼤⼩得到最后的输出信息。TPA机制的

框图：

TPA机制的实现包含以下三个过程：

（1）时序模式的获取

⾸先传⼊⼤量的时间序列，LSTM通过⼤量的时间序列获得⼀个隐状态矩阵H。对于隐状

态矩阵H的每⾏(第i⾏)，使⽤k个CNN过滤器提取特征，产⽣维度为n*k的HC矩阵。

（2）权值计算

对于要预测的ht，将其与HC矩阵的每⾏作⽤，从⽽对每⾏产⽣⼀个权重ai，这个权重代

表了HC矩阵每⾏对要预测的ht的作⽤强度，即每个时间序列对ht的影响强弱。

（3）TPA输出

将每⾏进⾏加权求和得到vt，代表了所有⾏对ht的综合作⽤，即时间注意⼒,在进⾏对ht

的预测时，在原来的公式中添加所有时间序列对ht的影响

模型搭建

Python

classTPALSTM(nn.Module):

def__init__(self,input_size,seq_len,hidden_size,

num_filters,filter_size,output_size,**kwargs):

super(TPALSTM,self).__init__()

self.lstm=nn.LSTM(input_size=input_size,hidden_size=hidden_size,

self.attention=TemporalPatternAttention(num_filters=num_filters,

self.linear=nn.Linear(hidden_size,output_size)

defforward(self,x):

...

classTemporalPatternAttention(nn.Module):

def__init__(self,num_filters,filter_size,attn_len,hidden_size):

super(TemporalPatternAttention,self).__init__()

self.num_filters=num_filters

self.filter_size=filter_size

self.feat_size=hidden