《数字化网络化控制技术 》 课件 第6章 工业大数据.pptx

第6章工业大数据丁红兵

导读

工业大数据是工业互联网的核心内容，包括工业产业中围绕典型智能制造模式的整个产品生命周期各个环节所产生的各类数据以及相关技术和应用。工业大数据的来源主要来自于工业生产和监控管理过程中无时无刻不在产生海量的数据。从人的行动、交往到产品的设计、制造、销售、使用与回收，这些活动其实一直在进行，只是以前缺乏感知技术去记录，缺乏存储手段去保存。当然，更主要的原因是以前缺乏计算能力和计算方法去分析这些数据，从中获取有用的价值。随着人类在感知技术、传输技术、平台技术和数据分析技术上的突破，使得数据的价值越来越大，人们开始有意识地收集各类工业数据。

本章首先介绍工业数据特征、分级处理和存储优化。其次，深入讨论工业数据的清洗、特征提取、聚类和异常值识别等处理技术，以确保数据的准确性和可靠性。接下来，探讨数据模型与呈现方式，以便更好地理解和分析工业数据。最后，讲解海量数据存储、并行处理与管理技术，以满足工业领域对大数据处理的需求。

本章知识点

?工业数据的特征

?工业数据的整理

?工业数据的清洗、特征提取、聚类、异常值识别等处理技术

?数据模型与呈现方式

?海量数据存储、并行处理与管理技术

1工业数据的特征1.1工业数据的类型工业数据可以分为结构化数据、半结构化数据和非结构化数据三种类型，如表6-1所示。这三种数据类型在工业领域都具有重要的作用，但它们具有不同的特征和处理方式。

1工业数据的特征1.2工业大数据的特征工业大数据通常可以用阿姆斯特丹大学的YuriDemchenko等人提出了大数据体系架构框架5V（Volume、Variety、Velocity、Value、Veracity）特征来描述，如图6-1所示。

1工业数据的特征图6-1大数据体系架构框架的“5V”特征

1工业数据的特征1.3数据标签数据标签是对数据进行描述、分类或注释的标识符或标记，用于帮助理解、组织和管理数据。数据标签通常包括与数据相关的信息，如数据类型、属性、来源、时间戳等，以及可能的关键字、标签或分类，以便于后续的有哪些信誉好的足球投注网站、检索和分析。随着数字营销成为今后所有行业的主要的发力方向，大数据标签已经是势在必行的趋势。数据标签体系结构包括以下几个方面：

1工业数据的特征数据标签类型1）基础信息标签：如企业信息、产品信息、人员信息等，用于最基础的数据分类和标识12）业务特征标签：涵盖业务处理、流程、状态等特征，用于业务数据的分类和标识。23）用户行为标签：包括用户浏览、购买、有哪些信誉好的足球投注网站等行为的数据标签，用于分类和标识用户行为数据。34）数据算法标签：通过算法模型计算得出的数据标签，用于更深层次的数据分类和标识。4

1工业数据的特征数据标签结构AB1）标签名称：简洁易懂的中文或英文单词或短语，表示数据标签的名称。C2）标签类型：表示数据标签的类型，通常分为基础信息、业务特征、用户行为和数据算法等类型。D3）标签定义：描述数据标签的定义和含义，包括标签的属性、特征、业务含义等。4）标签值：以文本或数字形式表示的数据标签的值。

1工业数据的特征数据标签管理数据标签管理涵盖标签的创建、修改、删除、审核等操作，明确管理职责、流程和规范可确保标签的质量和安全，避免错误和异常。同时，建立完整的数据标签管理系统可实现对标签的自动化管理和维护。

1工业数据的特征数据标签应用数据标签应用是指将标签应用到实际业务场景中，通过查询、筛选、分析、可视化等方式，实现对数据的快速、准确处理和利用。例如，利用用户行为标签进行用户分群，实现精准营销；利用业务特征标签优化业务流程，提高工作效率。

数据中台中的标签数据层TDM（TagDataModel）是打造统一数据视图、提升数据价值的关键支撑，是数据治理和数据驱动业务转型的重要基础能力。TDM面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系。这样处理一方面让数据变得可阅读、易理解，方便业务使用；另一方面通过标签类目体系将标签组织排布，以一种适用性更好的组织方式来匹配未来变化的业务场景需求。

2工业数据的整理2.1数据的分级处理数据分级处理中间件能够分析和确定数据的重要性，并根据不同的重要程度进行数据的分配和处理，以实现更轻量级的负载平衡，并设定不同的使用率目标。可以广泛应用于数据的感知、传输和应用等过程中。

在局部区域协同感知时，多个同质或异构传感器执行相同的检测任务，以获取丰富的传感数据。通过局部信息处理和融合，可获得高精度可靠的传感信息。例如，在智能园区中的无人车可能使用基于GPS信号、WIFI定位、UWB定位、RFID定位或者基于视觉信号定位的多种位置传感器进行多重定位和相互校