基于Transformer数长时工业数据预测方法研究.pdf

基于Transformer的多参数长时工业数据预测方法研究

摘要

时间序列数据广泛地存在于工业生产当中，针对工业过程中的关键数据进行预测能够确保

工业生产的顺利进行，因此，工业时间序列数据预测具有至关重要的研究意义。然而，工业数

据往往存在数据量不足、信息维度较少等数据质量问题，这些问题使得预测模型无法发挥其

性能优势。此外，在实际工业生产中通常存在多组相互关联的时间序列，如何有效处理单个时

间序列内部的复杂规律以及不同序列之间的相互依赖关系是多参数时间序列预测领域的重要

课题。

为解决以上问题，本文提出了一种基于Transformer模型的多参数长时工业数据预测方法。

本文的主要工作包括：

1、针对工业领域采集数据相对困难以及样本数量相对匮乏的问题，本文提出一种基于生

成对抗网络与循环神经网络的工业时间序列数据扩充方法。该方法将边界平衡生成对抗网络

BEGAN与门控循环神经网络GRU结合，最大化地利用工业系统运行过程中的历史数据，生

成符合原始多元工业时序数据特征分布规律的人工数据，提升工业时序数据的质量，为时间序

列预测模型提供了充足的样本数据，进而提高预测模型的准确性及可靠性。

2、针对传统的循环神经网络难以处理单个长时序列内部复杂周期性规律的问题，引入一

种基于双向稀疏化改进Transformer的时间序列预测方法。该方法利用Transformer模型对每个

数据参数的空间特征和时间特征进行长时预测，同时在输出层结合了前一时刻和后一时刻的相

关数据信息，提出Q-K共享的自注意力机制。通过双向稀疏化的自注意力计算方法降低

Transformer模型的时空成本，实现Transformer模型的优化与改进。

3、针对单个时间序列数据无法捕捉多个参数之间复杂交互关系的问题，提出一种基于跨

数据交叉融合的多元长时工业数据预测方法。该方法通过计算多个参数之间的权重来调整模型

的关注重点，通过一个全连接层输出最后的预测结果，从而实现多参数长时工业数据预测。

最后，使用本文提出的数据扩充模型和数据预测模型，在田纳西-伊斯曼、KJH仿真系统

5

数据集上进行实验以评估所提方法的有效性，与个模型进行了不同数量参数、不同预测长度

的对比实验，证实本文提出模型的可行性和准确性。通过结合变量过程监控的方法（拉依达准

则）对数据预测结果进行故障预警，从而实现多参数长时预测在工业过程中的有效应用。

关键词：时间序列预测；数据扩充；多元时序数据；注意力机制

基于Transformer的多参数长时工业数据预测方法研究

ABSTRACT

Timeseriesdataiswidelyavailableinindustrialproduction.Thepredictionofthekey

dataofindustrialprocesscanensurethesmoothprogressofindustrialproduction.Therefore,

thepredictionofindustrialtimeseriesdatahasimportantresearchsignificance.However,

industrialdataoftenhasdataqualityproblemssuchasinsufficientdataquantityandless

informationdimension,whichleadstothefailureofpredictionalgorithmstoplayits

performanceadvantagesandbringsgreatchallengestoindustrialtimeseriespredictiontasks.

Inaddition,thereareusuallymultiplesetsofinterrelatedtimeseriesinact