机器学习简明教程---基于Python语言实现 课件 第10章用于处理时间序列的网络.pptx

用于处理时间序列的网络《机器学习简明教程》高延增侯跃恩罗志坚机械工业出版社10

本章目标?理解序列的概念?掌握循环神经网络的结构和特点?理解LSTM的结构特点并掌握用法前面两章讲的神经网络是受人类神经系统的启发而设计出来的，但人类大脑还有一个非常重要的特点是具有记忆能力，我们常联系过去的经验来理解现在。而前面讲的多层网络、卷积网络都只是将某一时刻的特征映射为一组输出，这种网络在一些具有累积效应的场景并不适用。比如，一个智能客服收到客户针对“苹果”这个商品的投诉后，需要根据“上下文”来确认此处的“苹果”到底是指一种水果还是一种电子产品。因此，在使用神经网络算法时，历史记录对后面的结果也很重要。传统的神经网络在处理序列数据的时候，并没有考虑这一点。循环神经网络（RecurrentNeuralNetwork,RNN）、长短时记忆网络（LongShort-termMemoryNetwork,LSTM）是用于处理序列数据的神经网络，能很好地解决这一问题。本章介绍RNN、LSTM的原理与应用。

目录/Contents10.110.2序列循环神经网络10.3长短时记忆网络

10.1序列有一类特殊的数据，在同一种统计指标的约束下按照时间先后顺序排列，这样得到的序列被称为时间序列。时间序列数据一般是对一些现象依照时间先后顺序按一定间隔进行采样的结果，比如某地区的每季度平均降水量数据、股票交易数据、某人一天的血氧浓度变化数据、语音信号等等，通过对时间序列的科学分析，可以根据历史预测未来。在数据挖掘领域，很多任务和时间序列有关。以自然语言处理为例，客户想要买的飞机票的出发地和目的地分别是哪里呢？很显然，这个问题的答案和客户在两个时间点上发出的消息有关，从第一句消息可以提取出出发地信息、从第二句消息可以提取出目的地信息。

10.1序列——时间序列?（10.1）（10.2）

10.1序列——时间序列在时间维度上对某个对象进行数据采样，若对象的规律未知则需要采集尽量多维度上的特征。在采样过程中极可能会混入各种噪声干扰，所以时间序列信号具有高维度、复杂多变、高噪声干扰等特性。时间序列信号又广泛存在于商业、军事、自然科学、社会科学等数据集中，有效的时间序列数据挖掘算法能使人类的经济、军事、教育等活动更加高效运转。因此，时间序列数据的重要性和复杂性使得时间序列数据挖掘一直都是最有吸引力和挑战性的研究课题之一。时间序列数据挖掘的任务包括：（1）时间序列数据变换；（2）时间序列相似性有哪些信誉好的足球投注网站；（3）时间序列聚类；（4）时间序列分类；（5）时间序列相关规则提取与模式分析；（6）海量时间序列可视化；（7）时间序列预测。时间序列数据变换的目的是通过变换后能够抑制混杂在数据中的噪声信号，常见的变换方法包括傅里叶变换、小波变换、奇异值分解等。时间序列相似性有哪些信誉好的足球投注网站的研究目的是信息查询，如根据一段语音信号有哪些信誉好的足球投注网站歌曲或说话人等。一般研究思路是先定义不同时间序列数据的相似性的数值度量方法，然后根据相似性度量算法进行相似性有哪些信誉好的足球投注网站。时间序列的聚类、分类算法是根据采集到的一段时间内的序列数据进行聚类或分类。如根据语音信号判断说话人，语音内容识别等，机器学习算法在这一类任务中有广泛应用，是近年研究的热点。时间序列的规则提取、模式分析、可视化处理等也是为人类更好认知时间序列信号所做的一些处理，而这些处理很大程度上是为时间序列预测服务的。对应于上述时间序列数据挖掘任务的算法大致分成两类：（1）传统的时间序列分析方法，包括ARMA、ARIMA等；（2）基于机器学习的时间序列分析方法，包括支持向量机、深度学习等。

10.1序列——序列学习?序列学习就是专门用于处理时间序列的机器学习算法。序列学习算法可以预测被研究对象在一段时间后发生某件特定事件的可能性，比如预测手机用户进行了某些操作后接下来的可能动作，然后预加载所需要的数据，这样可以提升用户的使用体验。

10.1序列——序列学习?对于时间序列的机器学习任务，传统的多层全连接网络、卷积网络都较难完成。因此催生了各种不同的循环神经网络，最具代表性的是长短时记忆网络。

目录/Contents10.110.2序列循环神经网络10.3长短时记忆网络

10.2循环神经网络RNNRNN的发展可以追溯到上世纪七八十年代的循环反馈系统（RecurrentFeedbackSystem），1982年JohnHopfield提出了具有结合存储能力的神经网络，即Hopfield神经网络，这是一种递归神经网络，因为实现较为困难所以没有得到广泛应用。到1990年，JeffreyElman提出了第一个全连接的简单循环神经网络，Elman网络是一种局部循环网络，属于带反馈的BP网络，具有短期记忆能力。1991年，SeppHochreiter发现