智能设计方法 第2章 人工智能基础.ppt

3人工智能的主要技术3.6朴素贝叶斯（NaiveBayes）2.3.10递归神经网络（RecurrentNeuralNetworks）

现实生活中有着多种类型的数据包括图片、序列、表格等数据形式。时序数据指的是在给定时间段内以连续顺序发生的各种数据点的序列。人工神经网络和卷积神经网络通常只考虑当前时刻的输入数据，而较少考虑其他时刻输入数据。这种方式在处理有序列关系的数据具有局限性。递归神经网络（RNN）的概念最早可以追溯到1980年代，当时科学家们就开始探索如何使神经网络处理序列数据。最初，这些网络在处理长序列时遇到了一些挑战，如梯度消失或爆炸问题，这限制了它们在实际应用中的效果。随着时间推移，研究人员提出了各种改进措施，如双向RNN、长短期记忆网络（LSTM）和门控循环单元（GRU）等，这些变体显著提高了RNN处理长序列数据的能力。相对于其它网络，RNN在处理顺序输入任务（如语音和语言）时通常表现更好。RNN每次处理输入序列中的一个元素，并在其隐藏单元中维护一个“状态向量”，该向量包含了序列中所有过去元素的历史信息[7]。3人工智能的主要技术3.6朴素贝叶斯（NaiveBayes）递归神经网络通常由三个关键部分组成：输入层、一个或多个循环隐藏层以及输出层。在每个时间步，隐藏层接收两个输入：当前时间步的外部输入和上一个时间步的隐藏层状态。这种结构可以被视为一个展开的链式模型，因为每个时间步的隐藏层都与下一个时间步的隐藏层相连接，形成了一个时间序列的处理结构。在RNN中，输入层负责接收时间序列数据的外部输入，比如文本、语音或者时间序列数据。循环隐藏层是RNN的关键部分，它在每个时间步接收两个输入，并通过激活函数处理这些输入，从而生成当前时间步的隐藏层状态。这个隐藏层状态在下一个时间步被用作输入，同时也会保留一部分信息作为网络的记忆，用来捕捉数据之间的时间依赖关系。最后，输出层根据隐藏层状态生成当前时间步的输出结果，可以是分类、回归或其他任务的结果。在RNN中，随着时间的推移，信息会在网络中逐渐丢失，这使得网络难以捕捉和学习长期依赖关系。3人工智能的主要技术3.6朴素贝叶斯（NaiveBayes）2.3.11长短期记忆网络（LongShort-TermMemory,LSTM）

长短期记忆网络（LongShort-TermMemory,LSTM）旨在解决RNN在长序列学习中的困难，尤其是梯度消失问题。LSTM引入了“门控机制”（gatingmechanism），这种机制允许网络有选择地记住和忘记信息，包括输入门（inputgate）、遗忘门（forgetgate）和输出门（outputgate），它们共同作用于所谓的单元状态（cellstate），控制信息流动。其中，遗忘门决定哪些信息应该从单元状态中被丢弃。输入门决定哪些新的信息应该被添加到单元状态中。输出门决定单元状态中的哪些信息应该被用来计算输出。这种门控机制的引入使得LSTM能够维护一个长期的内部状态，从而有效地捕获长距离的数据依赖关系。这使得LSTM在处理像自然语言处理、语音识别等需要理解长期依赖的领域中非常有效。3人工智能的主要技术3.6朴素贝叶斯（NaiveBayes）2.3.12门控循环单元（GatedRecurrentUnit）

LSTM通过门控机制使循环神经网络不仅能记忆过去的信息，同时还能选择性地忘记一些不重要的信息而对长期语境等关系进行建模，而GRU基于同样的想法在保留长期序列信息下减少梯度消失问题。GRU背后的原理与LSTM非常相似，即用门控机制控制输入、记忆等信息而在当前时间步做出预测。GRU有两个门，即一个重置门（ResetGate）和一个更新门（UpdateGate）。从直观上来说，重置门决定了如何将新的输入信息与前面的记忆相结合，更新门定义了前面记忆保存到当前时间步的量。如果将重置门设置为“1”，更新门设置为“0”，那么将获得标准RNN模型。使用门控机制学习长期依赖关系的基本思想和LSTM基本一致，但还是存在一些关键区别：GRU有两个门（重置门与更新门），而LSTM有三个（输入门、遗忘门和输出门）；LSTM中的输入与遗忘门对应于GRU更新门，重置门直接作用于前面的隐藏状态。3人工智能的主要技术3.6朴素贝叶斯（NaiveBayes）2.3.13生成对抗网络（GenerativeAdversarialNetworks）

生成对抗网络（GenerativeAdversarialNetworks,GANs）作为一种深度学习模型，是近几年来无监督学习方法最具前景的方法之一，被广泛用于生成图像、视频和语音等。GANs通过生成器和判别器相互对抗来进行学习