RNN介绍.ppt

神经网络模型的基本组成 之神经元 生物神经元的基本组成 细胞体 突起 树突 轴突 1 RNN简介 RNN是一类以在网络中出现环为特点的网络模型，并且能存储着神经元这一时刻的输入与前一时刻输出的以来关系。前向静态神经网络虽然对非线性函数具有良好的逼近能力，但却不具动态性，所以就引入了递归神经网络——RNN。 RNN相对于前向静态网络不同的就是信号从一个神经元到另一个神经元，并不会马上消失，而是继续存活。 RNN的神经元 主要由5个部分组成 输入 网络权值和阈值 求和单元 传递函数 输出 RNN分类 全局递归神经网络（Fully Recurrent NNs） 离散DHNN Hopfiled网络 连续CHNN 局部递归神经网络（Locally Recurrent NNs） 外部时延网络：Jordan网络 内部时延网络：Elman网络 RNN的学习算法 通过时间的反向传播算法（Back Propagation Through Time，BPTT） BPTT算法是BP算法的扩展，可将加 在网络上的时序信号按层展开，将动 态网络转化为动态网络，用BP算法进 行训练。 BPTT算法描述 定义回合的误差函数（ 表示回合的起始时间， 表示回合的结束时间） （1）在区间[ , ]上，对数据做前向运算，保存完整的输入数据记录、网络状态（权值）和期望输出； （2）对过去这条记录执行一个单纯的反向传播网络，计算局部梯度； （3）当反向传播的计算回到 时，对神经元 j 的突触权值 调整如下： RNN的学习算法 实时递归学习算法 (Real time Recurrent Learning，RTRL) 用于训练局部网络； 有N=4个单元，M=2个外加 输入，x(n)表示n时刻的输入 向量，y(n+1)表示下一时刻的 输出向量，总的输入向量为 RTRL算法描述 （1）从n=0开始，对每一步n，计算N个神经元的输出，求出联合输入 ； n时刻 j 神经元的净输入为： 下一时刻 j 的输出为： （2）用梯度下降法求出权值的修正量； （3）修正权值： （4）重复计算，知道误差小于某一特定值 ； A Clockwork RNN CW-RNN是通过将隐含层划分几个模块，来减少RNN中存在的长时间依赖，从而减少了训练的时间。 后续学习安排 重新搭建一条学习的主线 多看一些关于RNN的论文 学好Python的编程，读懂RNN的代码 * 基于Recurrent neural network的时间序列分析 * 进度报告 之 报告人：陈 恬 主要内容 1 RNN简介 2 RNN的学习算法 3 需解决的问题 4 后续学习安排 人工神经元的基本结构 处理单元 连接 输入 输出 实际应用中，我们需要事先知道各神经元的状态信息，然后才可以合理 利用这些信息实现一些预定的目标 ，而信息有时是不可完全获知的，即模型 中存在时滞，就要求我们想办法去估计这些神经元的状态。 3 需解决的问题--如何处理时滞？ 递归网络 定常时滞（constant delay） 时变时滞（time-varying delay） 分布式时滞（distribute delay） 谢谢大家的指导！ *