《数字化网络化智能技术：工业大数据及其应用》课件 第6章 工业大数据挖掘与知识图谱.pptx

工业大数据及其应用

06工业大数据挖掘与知识图谱

1工业大数据深度学习1.1深度学习基本概念深度学习是机器学习的一个分支和新的研究领域，它使用多层的人工神经网络来模拟人类的学习过程。在如今可用数据量的激增、计算能力的增强以及计算成本的降低的条件下，它可以用大规模的数据和计算资源从大量的数据中自动提取特征，而不需要人工设计或选择并进行分类、回归、生成等任务。

深度学习的概念最早可以追溯到上世纪50年代，当时一些科学家提出了神经网络的基本模型，如感知器和自适应线性元。但是，由于计算能力的限制和理论上的困难，神经网络的研究并没有取得很大的进展，直到上世纪80年代，反向传播算法的提出使得神经网络可以训练多层的结构，从而开启了深度学习的第一次繁荣期。然而，随着神经网络层数的增加，反向传播算法也面临了梯度消失、过拟合和计算效率等问题，导致深度学习的发展陷入了低谷，而其他的机器学习方法，如支持向量机和决策树等，开始占据了主流地位。

1工业大数据深度学习1.1深度学习基本概念直到21世纪初，深度学习才重新焕发了生机，这得益于大数据的出现、计算能力的提升和新的训练方法的发明。一些著名的深度学习模型，如深度信念网络、卷积神经网络、循环神经网络、长短期记忆网络、生成对抗网络等，相继被提出，并在各个领域取得了令人瞩目的成果。深度学习已经广泛应用于图像识别、语音识别、自然语言处理、计算机视觉、机器翻译、自动驾驶、医疗诊断、游戏智能等方面，极大地推动了人工智能的发展和创新。

1工业大数据深度学习卷积的定义卷积，亦称为褶积，是一种在分析数学领域中应用广泛的操作。它在信号处理和图像处理等领域中非常常见，通常涉及到一维或二维的卷积运算。

在信号处理领域，一维卷积通常被用来分析信号随时间的累积效应。设想一个在每个时间点t发出信号xt的发生器，其信号强度按比例wk衰减，这意味着在k-1时间单位后，信号强度变为初始值的wk倍。例如，如果w1=1，w2=1/2，w3=1/4，那么在时间点t接收到的信号yt就是当前信号与之前信号衰减后的累积：

我们将w1，w2，…这一系列称作滤波器或卷积核。假定滤波器的长度是K，那么它与信号序列x1，x2，…进行卷积运算为：

我们可以假定输出信号yt的索引t是从K开始的。这样，信号序列x与滤波器w的卷积可以定义如下：

1工业大数据深度学习卷积的定义其中?表示卷积运算，一般情况下滤波器的长度K远小于信号序列x的长度。

图6-1给出了两个滤波器的一维卷积示例。可以看出，两个滤波器分别提取

输入信息X和滤波器W的二维卷积定义为：

其中?表示二维卷积运算，图6-2给出了二维卷积示例。图6-1一维卷积示例

1工业大数据深度学习卷积的定义

在图像处理中常用的均值滤波（MeanFilter）就是一种二维卷积，将当前位置的像素值设为滤波器窗口中所有像素的平均值，即wuv=1/UV。

在图像处理中，卷积经常作为特征提取的有效方法，一幅图像在经过卷积操作后得到结果称为特征映射（FeatureMap）。图6-2二维卷积示例

1工业大数据深度学习互相关互相关和卷积的区别仅仅在于卷积核是否进行翻转，因此互相关也可以称为不翻转卷积。

公式(6-7)可以表述为

在神经网络中使用卷积是为了进行特征抽取，卷积核是否进行翻转和其特征抽取的能力无关。当卷积核参数是可以学习的，网络可以自动调整卷积核参数，使其更好地匹配目标特征。在这种情况下，卷积和互相关在特征提取能力上是等价的。为了实现上（或描述上）的方便起见，我们通常用互相关来代替卷积。这是因为互相关不需要翻转卷积核，因此在实现上更简单。此外，互相关更符合人们对相似度计算的直观理解，因此在描述上也更方便。事实上，很多深度学习工具中卷积操作其实都是互相关操作。例如，在TensorFlow和PyTorch中，卷积操作默认情况下都是互相关操作。

1工业大数据深度学习卷积的变种在卷积的标准定义基础上，我们可以引入卷积核的滑动步长和零填充，从而增加卷积的多样性，使其更灵活地进行特征抽取。滑动步长可以控制卷积核在输入上的移动步幅，而零填充则可以调整输入的尺寸，使其适应不同的任务和网络结构。这些技术的灵活应用使卷积在深度学习中成为一项强大的工具。

步长（Stride）是指卷积核在滑动时的时间间隔，图6-3(a)给出了步长为2的卷积示例。

零填充（ZeroPadding）是在输入向量两端进行补零，图6-3(b)给出了输入的两端各补一个零后的卷积示例。

1工业大数据深度学习卷积的变种假设卷积层的输入神经元个数为M，卷积大小为M，步长为M，在输入两端各填补??个0（zeropadding），那么该卷积层的神经元数量为(M-K+2P)/S+1。

一般常用的卷积有以下三类：图6-3卷积的步长和零填充

1工业大数