基于Transformer的时间序列分析-李新帅.pdfVIP

BeijingForestStudio

ThenameoftheDepartment

北京理工大学信息系统及安全对抗实验中心

部门名称

基于Transformer的时间序列分析

李新帅

2023年06月11日

内容提要

•背景简介

•基础概念

•算法原理

•应用总结

•参考文献

2

背景简介

•预期收获

–1.了解时间序列分析任务的基本概念

–2.理解Transformer的基本原理

–3.理解Transformer在时间序列任务中的应用

–4.了解时间序列分析任务的前沿发展

3

时间序列为什么？

•应用场景

–工程技术、气象、水文、生物医药、经济管理、智能运维

4

时间序列是什么？

•时间序列

–按照顺序把随机事件变化发展的过程记录下来就构成了一个时间序列

•时间序列分析

–对时间序列进行观察、研究，找寻它变化发展的规律

•特征

–长期性、周期性、季节性、不规则事件、特殊变化

5

时间序列研究方向？

•按数据维度划分

–一元时间序列

–多元时间序列：包含多个一元时间序列作为分量，

各个一元时间序列的采样时间点相同

•按时间特点划分

–离散时间序列：采集的时间是离散的，例如气温变化曲线

–连续时间序列：采集的时间是连续的，例如信号采集

•按任务类型划分

–预测：从当前值预测时间序列的未来值

–分类：给定多个时间序列，将它们按照相似性进行分类

–异常检测：检测时间序列行为何时发生变化

6

时间序列分析怎么做？

•传统时间序列预测

–AR、MA、ARMIA

–GARCH、VAR

•基于机器学习的时间序列预测

–GBRT

–RandomForest

•基于深度学习的时间序列预测

–LSTM

–Transformer

–图神经网络

7

Transformer为什么？

•优势：

–更强的长期依赖建模能力，在长序列上

效果更好

–支持并行，训练得更快

•劣势：

–基于序列的编解码结构，自注意力机制，

计算时间、空间复杂度高

–位置编码的准确性

8

算法复杂度

•时间复杂度：

–是指执行当前算法所消耗的时间

–算