数据挖掘RNN算法讲课PPT课件.ppt

深度学习之循环神经网络 --RNN ?　　??　　???　　?　　?王尚 管优！X2021 目录1：深度学习发展史2：从神经网络到深度学习3：循环神经网络基础22021 1：深度学习发展史32021 深度学习发展史SVMBoostingDecision treeKNN…Neural networkBack propagatioeep belief netScienceSpeecomputer visionNLPSpeech ……2014Geoffrey Hinton 1949Learning model of neurons1958PerceptronHebbRosenblattGeoffrey Hinton DBNCNNRBMRNN…机器学习第一次浪潮：机器学习第二次浪潮浅层学习模型(Shallow Learning)深度学习模型(Deep Learning)First Winter of NNSecond Winter of NN42021 synapsedendriteCell bodySynapticterminalsAxon轴突末梢突触树突细胞体轴突w1x1xnΣ线性动态系统激励函数own神经元是构成神经网络的最基本单元(构件), 因此, 首要任务是构造人工神经元模型。细胞体Cell body树突dendrite突触synapse轴突Axon来自其它神经元神经元模型52021 yθyaxo x2x1xnw1w2wn???w1x1xnΣ激励函数o=f(net)wnnet = WTX 典型的激励函数(Activation Function)：线性函数，非线性斜面函数，阶跃函数，S型函数等。神经元模型62021 Input LayerHidden LayerOutput Layerx1xMh1hLo1oNw11wm1wM1wmLwMLw1Lv11vl1vL1vLN神经网络一般形式? Nonlinearity 非线性 ? Parallel Processing 并行处理? Input—Output Mapping 输入输出匹配 ? Adaptivity 自适应性ocx2x1xnw1w2wn???72021 2：从神经网络到深度学习82021 神经网络深度学习网络相似之处：不同之处：模拟人脑的分层网络结构；强调深度的重要性；突出特征学习的重要性；（逐层抽象）训练机制；92021 为什么需要深度？深层网络具有刻画复杂函数的能力102021 3：循环神经网络（RNN）112021 递归神经网络模型12递归神经网络吸收了HMM模型的有限序列关联的思想。神经网络的隐藏层结构能够更好的表达有限的观察值背后的复杂分布。递归神经网络（RNN），是两种人工神经网络的总称：一种是时间递归神经网络（recurrent neural network）；一种是结构递归神经网络（recursive neural network）； 递归神经网络模型13时序扩展 Recurrent Neural Network14针对对象：序列数据。例如文本，是字母和词汇的序列；语音，是音节的序列；视频，是图像的序列；气象观测数据，股票交易数据等等，也都是序列数据。核心思想：样本间存在顺序关系，每个样本和它之前的样本存在关联。通过神经网络在时序上的展开，我们能够找到样本之间的序列相关性。RNN是一类扩展的人工神经网络，它是为了对序列数据进行建模而产生的。 循环神经网络模型15激活函数RNN常用的激活函数是tanh和sigmoid。 循环神经网络模型16softmaxSoftmax函数是sigmoid函数的一个变种，通常我们将其用在多分类任务的输出层，将输入转化成标签的概率。本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。 循环神经网络模型17简单循环网络SRN神经元之间的连接权重在时域上不变。 循环神经网络模型18随时间反向传播算法BPTTBP回顾：定义损失函数 E 来表示输出 和真实标签y的误差，通过链式法则自顶向下求得 E 对网络权重的偏导。沿梯度的反方向更新权重的值，直到 E 收敛。 BPTT的本质其实和BP很像，就是加上了时序演化。定义权重U，V，W。 定义损失函数:我们将整个序列作为一次训练，所以需要对每个时刻的误差进行求和。 循环神经网络模型19随时间反向传播算法BPTT目前的任务是求 E 对于U，V，W 的梯度。定义E对于W 的梯度(U，V 同理):（1）求 E 对于V 的梯度。先求 E3 对于V