大数据 与云计算 课件.pdfVIP

10

第章大数据分析

【学习目标】

•了解大数据与云计算

•掌握大数据存储特点

•掌握Hadoop开源框架的基本原理

•掌握Spark开源框架

简介

•互联网技术的快速发展导致数据的快速膨胀，谷歌公司每天处理超过25PB的数据。包括

360

卫星图片、航拍照片和度街景图片。人类身体细胞数据各不相同，但是数量最多的

接近万亿个，如果用个位来表示个细胞，那么足够记录个人的身体细胞。

100111PB90

每天处理亿计的图片，信息。在年就存储了超过的数据。

Facebook2012100PB

•麦肯锡表示：“大数据值得是所涉及的数据集规模已经超过了传统数据库软件获取、存

储、管理和分析的能力”

•IBM则指出：“如果数据集具有数量上，种类多样性，速度极快的这三种特性”，称之为

3VVolume,Variety,Velocity,

（即容量、多样性、速度），那么，这些数据就称之为大

数据。

10.1云计算与大数据

IT

•由于海量数据的产生，基础设施也随着高速发展，特别是高速存储，高速网络的

发展壮大。为了对海量数据进行有效的计算，必须最大限度地利用计算和网络资源。

计算虚拟化和网络虚拟化对分布式计算、存储和网络资源都提出了很高的要求。

•从科学研究到零售业，从保险、医疗到互联网，每个行业都在爆发式地产生数据，

这种增长甚至超过了人类创造存储器的速度。各行各业，利用大数据的故事层出不

穷。

•江苏省宿迁市公安局以民意为导向，用大数据思维牵引整体工作布局，强力推进

“智慧警务”建设落地见效，探寻出一条“强度整合、高度共享、深度运用”的“智慧警

务”新路径。年月日时分，宿迁市洋河新区酒家路北一商铺附近，涉

201810131721

嫌故意伤害致人轻伤的犯罪嫌疑人张某还没来得及反应，就被身边的一群巡防民警

制伏。原来“智慧警务”从发现嫌疑人的第一个身影开始，他的影像就接连不断地在

PGIS平台上标注。短短几十分钟就锁定了嫌疑人的活动区域，并最终确定了准确位

置。年月日，泗洪县局指挥中心根据人像对比系统的预警指令，迅速锁定

2018313

在逃嫌疑人位置。街面巡防警力立即开展围捕工作，仅用分钟就在汽车站附近将

4

13

潜逃年的命案在逃嫌疑人张某抓获。

•在贵阳市修文县的猕猴桃如今也插上了科技的翅膀，形成了新的产销业态。猕猴桃

已实施二维码追溯体系，手机一扫，就能了解猕猴桃的身份信息。借助二维码防伪

标，每个果园有一个二维码身份证。消费者只要用手机扫描一下猕猴桃上的二维码，

就可以显示出产地在哪儿、园主是谁、田间管理、采摘时间、出库时间等信息，全

程跟踪，全程溯源。与此同时，每次扫描之后，后台都可以进行流向监测。通过分

析挖掘扫描数据，可以获得中国南北方市场口感偏好、各大城市的销售情况等信息。

“云计算”(CLOUDCOMPUTING)

•是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按照

需求提供给计算机和其他设备。云计算为我们提供了跨地域、高可靠性、按需付费、

快速部署的能力。随着云计算的发展，大数据正成为云计算面临的一个重大挑战。

•用户不需要了解“云”中基础设施的细节，不必具有相应的专业知识。云计算是一种

虚拟化的资源，并且意味着计算能力也可作为一种商品通过互联网进行流通。

公有云

私有云

•往往只针对特定客户群提供服务，比如一个企业内部可以在自己的数据中心搭建私

有云。或者是个人以家庭为单位提供家庭成员的云服务。

云计算的服务

•云计算一般包括三个层次的服务：基础设施即服务（IaaS），平台即服