工业多元时序数据质量管理方法研究.pdfVIP

工业多元时序数据质量管理方法研究

摘要

数据作为企业提高自身核心竞争力的宝贵资产，是推动创新和优化决策的关键驱动。

在工业4.0时代，工业数据量的爆炸式增长不仅凸显了数据质量问题，也带来了一系列

负面影响。工业多元时序数据质量管理的研究，不仅能够为工业数据质量管理提供理论

基础和实践指导，推动工业制造业的智能化，还能够帮助企业提高生产效率、减少错误

决策和资源浪费。本文聚焦工业传感器定期采集的时间序列数据，涉及多个可能相互关

联的属性。这种多元性代表了数据管理需要考虑各属性间的相互作用，以揭示更深层次

的模式和趋势。然而，现有的工业多元时序数据质量研究并未考虑这些联系。此外，现

有研究还缺乏包含数据采集、评估、清洗等环节的细致化实施方案，通常仅从特定数据

质量维度的基本定义出发进行数据质量评估，并且在数据清洗过程中忽视了各维度重要

性。针对上述问题，本文主要做了如下研究工作：

首先，对工业多元时序数据进行分析，总结目前数据采集中存在的问题，概括工业

数据的特征与挑战，阐述低质量数据引发的负面影响。本文以实现数据的高效管理为出

发点，建立了一个完整的工业多元时序数据质量管理框架，为全文奠定理论基础。

其次，为获取数据集质量状况，本文提出了一个工业多元时序数据质量评估方法。

利用数据剖析技术提取数据集统计信息，细粒度划分完整性、规范性、一致性、及时性、

唯一性、准确性等数据质量维度，考虑同一维度内或不同维度间各子维度的相关性以确

定其度量。通过对各子维度分配权重，充分挖掘数据质量维度深层次信息，以获得反映

数据质量详情的评估结果。在两个数据集上进行实验并与其他方法评估相对比，证明所

提评估方法能更全面的评估数据质量，评估结果能更客观准确的反映数据质量问题。

最后，针对数据集中已知的各数据质量维度问题，本文提出了一个基于改进层次分

析法的数据清洗方法。结合评估过程所得数据质量信息，按照各维度在清洗任务中的重

要性进行优先级排序，并依据实际需求有选择性的执行清洗工作。本文详细讨论了各类

清洗算法的区别，为清洗算法的选择提供了参考依据。在已评估数据集上进行清洗实验

和真实数据集进行对比实验，证明所提清洗方法能够稳定有效的提升数据质量。相比于

其他只能解决特定数据质量问题的清洗方法，本文所提清洗算法能够全方面地清洗各种

问题数据，具有良好的灵活性和可扩展性。

关键词:工业多元时序数据；数据质量；数据质量管理；数据质量评估；数据清洗

工业多元时序数据质量管理方法研究

Abstract

Asavaluableassetforenterprisestoimprovetheircorecompetitiveness,dataisakey

driverforinnovationandoptimizeddecision-making.IntheeraofIndustry4.0,theexplosive

growthofindustrialdatavolumenotonlyhighlightstheproblemofdataquality,butalsobrings

aseriesofnegativeeffects.Theresearchonindustrialmultivariatetimeseriesdataquality

managementcannotonlyprovideatheoreticalbasisandpracticalguidanceforindustrialdata

qualitymanagementandpromotetheintelligenceofindustrialmanufacturing,butalsohelp

enterprisestoimproveproductionefficiency,reducewrongdecisionsandwasteofresources.

T