分布式计算、云计算与大数据 第2版 课件 第1章 分布式计算概论.ppt

雾计算基本概念雾计算是个很形象的名称，提出它的GinnyNichols提了一个有趣的说法“雾是接近地面的云”。这句话有两层含义：1）雾计算和云计算有很多相似。例如：它们都基于虚拟化技术，从共享的资源池中为多用户提供资源。2）“接近地面”。这也指出了雾和云的一个不同——网络拓扑中的位置。雾的概念：雾节点所使用的设备：雾主要使用边缘网络中的设备。这些设备可以是传统网络设备（早已部署在网络中的路由器，交换机，网关等等），也可以是专门部署的本地服务器。雾计算基本原理雾计算概念示意图雾计算实例智能交通灯系统雾计算的引入将为智能交通灯系统带来更多的可能性。如：监控过程中，相邻帧间画面只有部分变化，非常适于在雾节点处缓存若干帧画面，压缩后再传向中心机房，这样从雾节点到机房的网络带宽将得到很大缓解。在雾节点处，可判断监控画面中是否有救护车头灯闪烁，做出实时决策发送给对应交通灯，协助救护车通过。边缘计算基本概念边缘计算(EdgeComputing)指的是接近于事物，数据和行动源头处的计算也被称为：邻近计算或者接近计算(ProximityComputing)边缘计算的概念：边缘网络：边缘计算让数据在边缘网络处处理。边缘网络基本上由终端设备（例如移动手机、智能物品等等）、边缘设备（例如边界路由器、机顶盒、网桥、基站、无线接入点等等）、边缘服务器等构成。边缘计算基本原理云计算、雾计算、边缘计算关系：雾计算也可以进行边缘计算。除了边缘网络，雾计算也可以拓展到核心网络。边缘和核心网络（例如核心路由器、区域服务器、广域网路开关等等）的组件都可以作为雾计算基础设施。边缘计算依赖于不构成网络的单独节点，需要通过云实现孤岛中节点的对等流量传输。雾计算用几个层次形成网络，节点之间具有广泛的对等互连能力。雾计算以及边缘计算都不是用来代替云计算，它们共同形成一个彼此受益的计算模型。边缘计算实例智能交通灯系统无人驾驶汽车走向规模化应用必须存储和运算海量的数据。无人驾驶汽车要在高速行驶过程中，通过无线网络与云端进行大量超低时延、超大流量的数据交互，现有网络根本没有能力支撑。依靠移动边缘计算，数据可以就近存储于车辆附近位置甚至车身上。在车辆高速度运动过程中，位置信息变化十分迅速，被置于车身上的最末端的移动边缘计算服务器能够精确地实时感知车辆位置的变动，并将分析所得结果以极低延迟(通常是毫秒级)传送给临近区域内其他联网车辆，以便车辆做出决策。移动边缘计算移动边缘计算就是利用无线接入网络就近提供电信用户IT所需服务和云端计算功能，而创造出一个具备高性能、低延迟与高带宽的电信级服务环境，加速网络中各项内容、服务及应用的快速下载，让消费者享有不间断的高质量网络体验。移动边缘计算把无线网络和互联网两者技术有效融合在一起。移动云计算移动云计算是指通过移动网络以按需、易扩展的方式获得所需的基础设施、平台、软件(或应用)等的一种IT资源或(信息)服务的交付与使用模式。如图所示，移动云计算是云计算技术在移动互联网中的应用，本质上就是基于移动终端获取各种云端服务的技术。大数据计算概念随着互联网与计算机系统需要处理的数量越来越大，大数据计算成为一种非常重要的数据分析处理模式。大数据计算一般是指利用分布式计算技术对海量数据进行在线或离线的实时性或批处理分析计算。当前大数据计算的主要模式有：基于MapReduce的批处理计算、流式计算、基于Spark的内存计算。基于MapReduce的批处理计算InputsplitshuffleoutputMapReduce计算模式的主要思想是将自动分割要执行的问题（例如程序）拆解成Map和Reduce两个函数操作，然后对分块的大数据采用“分而治之”的并行处理方式分析计算数据。大数据流式计算大数据批处理计算关注数据处理的吞吐量，而大数据流式计算更关注数据处理的实时性。流式计算具有很强的实时性，需要对应用源源不断产生的数据实时进行处理，使数据不积压、不丢失，常用于处理电信、电力等行业应用以及互联网行业的访问日志等。基于Spark的内存计算由于MapReduce计算过程中需要读写HDFS存储（访问磁盘IO），而在Spark内存计算过程中，使用内存替代了使用HDFS存储中间结果，即在进行大数据分析处理时使用分布式内存计算，内存访问要比磁盘快得多。因此，基于Spark的内存计算的数据处理性能会提升很多，特别是针对需要多次迭代大数据计算的应用。无服务器计算无服务器计算来自英文ServerlessComputing的翻译，简称为Serverless，它并不是指没有服务器，而是说，对于用户，服务器变得“不可见”了（或