大数据管理与应用 课件 第十章 深度学习.pptx

第十章深度学习大数据管理与应用——主编：王刚副主编：刘婧、邵臻

近年来，深度学习在学术界和产业界都取得了极大的成功，它是实现人工智能系统的重要方法。在本章中您将了解深度学习的发展历程及基本概念；学习不同种类的深度学习模型和方法，包括深度前馈网络、卷积神经网络、循环神经网络等；讨论深度学习在实际生活和生产中的应用。深度学习概述神经网络深度前馈网络卷积神经网络循环神经网络第十章深度学习

01深度学习概述02神经网络03深度前馈网络04卷积神经网络05循环神经网络

人工智能（ArtificialIntelligence，AI）的目的是让机器完成人类的智能工作，例如推理、规划和学习等。AI中有许多方法，如专家系统（ExpertSystems）和机器学习（MachineLearning，ML）。机器学习是AI的重要领域，其目的是让机器从训练数据中自动学习和进步，例如通过输入大量棋谱，让机器学会如何下棋。机器学习又包括多种方法，如决策树、支持向量机和深度学习。深度学习是目前最热门的机器学习方法，它在诸多问题上表现最佳，尤其是在数据量足够多的情况下。深度学习的主要目标是用一种“深度”的模型完成机器学习，使用这种有“深度”的模型自动学习出原始数据的特征表示，从而削减甚至消除人为特征工程的工作量。1.1深度学习概述图10-1从人工智能到深度学习

所谓“深度”是指将原始数据进行非线性特征转换的次数。如果将一个学习系统看作一个有向图结构，“深度”也可以指数据在系统中从输入到输出走过的最长路径。神经网络模型是目前深度学习采用的主要模型，因此，可以将其简单地看成神经网络的层数。一般超过一层的神经网络模型都可以看作深度学习模型，但实际上，随着深度学习的快速发展，神经网络的层数已经从早期的5-10层增加到了目前的上千层。一般认为，深度学习到目前为止共经历了3次浪潮：20世纪40年代到60年代，深度学习的雏形出现在控制论（Cybernetics）中；20世纪80年代到90年代，深度学习以连接主义（Connectionism）的形式出现；2006年以深度学习之名复兴。总之，深度学习的演变趋势可以总结如下：深度学习并不是一个新兴的概念，其有着悠久的历史，只是随着许多哲学观点的逐渐消逝，其名称也渐渐被尘封。随着互联网技术的发展，可用的训练数据量不断增加，深度学习也变得更加有用。随着计算机软硬件基础设施的改善，深度学习模型的规模也随之增长。随着时间的推移，深度学习已经可以解决日益复杂的问题，并且精度在不断提升。1.1深度学习概述

生物神经网络（BiologicalNeuralNetworks）一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。以人类大脑为例，作为人体最复杂的器官，人类大脑由神经元、神经胶质细胞、神经干细胞和血小板组成。神经元（Neuron），也叫神经细胞（NerveCell），是携带和传输信息的细胞，是人脑神经系统中最基本的结构和功能单位。典型的神经元结构分为细胞体和突起两部分：细胞体由细胞核、细胞膜、细胞质组成，具有联络和整合输入信息并传出信息的作用。突起树突短而分枝多，直接由细胞体扩张突出，形成树枝状，其作用是接受其他神经元轴突传来的冲动并传给细胞体；轴突长而分枝少，为粗细均匀的细长突起，常起于轴丘，其作用是接受外来刺激，再由细胞体传出。2.1生物神经网络图10-2典型的神经元结构

人工神经网络由多个节点（神经元）互相连接而成，可以用来对数据之间的复杂关系进行建模。图10-3中的橙色圈表示人工神经网络中的神经元，神经元内部可以对输入神经元的信息进行一定地处理，类似于生物神经网络中的细胞体对其接收到的信息进行综合处理。不同节点之间的连接被赋予不同的权重，每个权重代表了一个节点对另一个节点的影响大小。图10-3中的黑色箭头表示不同神经元之间的连接，不同的连接被赋予不同的权重，类似于生物神经网络中在不同的神经元之间传递信息的突触，突触之间有不同的“连接强度”。在生物神经网络中，当细胞体接收到的累加刺激超过一定阈值时，该神经元被激活，并向其他神经元传递信息。在人工神经网络中，不同的输入结合不同的连接权重，被输入给神经元进行处理，神经元内部首先对不同的输入和相应的权重进行计算，得到累加输入（生物神经元中的累加刺激），该累加输入再被传递给一个特殊函数，我们称之为激活函数，得到一个新的活性值（兴奋或抑制）。2.2人工神经网络图10-3神经网络模型示例

除了神经元的内部结构，各个神经元之间的连接规则（即网络结构）也是人工神经网络中至关重要的组成部分。到目前为止，研究者已经发明了多种神经网络结构，常用的神经网络结构主要有三种：前馈网络、记忆网络和图网络。前馈网络：前馈网络是指整个