课时2　大数据处理的基本思想与架构 课件（共42张ppt）浙教版（2019）必修1.pptxVIP

课时2大数据处理的基本思想与架构;1.了解大数据处理架构和基本思路。

2.了解静态数据、流数据和图数据三者的区别。;;;1.处理大数据时一般采用______思想,就是把一个复杂的问题分成两个或更多____________的子问题。;2.大数据处理类型有__________、________和________三大类。

3.Hadoop是一个可运行于大规模计算机集群上的____________基础架构,适用于__________的批处理计算。静态数据指在处理时已收集完成,在计算时不会发生改变的数据,一般采用________方式。

4.分布式文件系统(简称HDFS)主要功能是将大规模海量数据以文件的形式,用多个副本保存在不同的存储节点中,并用____________进行管理。HDFS是一个高度________的系统,适合部署在廉价的机器上。云盘、网盘的底层一般采用__________实现。;5.分布式的列式数据库(HBase)采用基于____的存储形式,建立在HDFS提供的底层存储基础上,主要用来存储非结构化数据和__________数据,具有良好的横向扩展能力,可管理PB级的大数据。

6.流数据是指不间断地、持续地到达的实时数据,随着时间的流逝,流数据的价值也随着______。

7.实时处理系统处理大量的流数据,处理流数据的计算平台有____________、Heron、IBMInfoSphere、Streams等。

8.Twitter公司的大数据处理系统Summingbird实现了____________________在一个平台架构下的整合(Hadoop+Storm)。;重难点剖析

1.处理大数据的分治思想

分治就是把一个复杂的问题分成两个或更多相同或相似的子问题,找到求这几个子问题的解法后,再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决,可以再把它们分成几个更小的子问题,以此类推,直至可以直接求出解为止。;2.三种处理数据的系统及相应的平台;(3)图计算

图数据的特点是节点之间的关系错综复杂,且节点之间可能有多条回路。目前通用的图处理软件主要包括两类:一类是图数据库,如Neo4j、InfiniteGraph、OrientDB等;另一类是并行图处理系统,如GooglePregel、ApacheGiraph、卡内基梅隆大学的GraphLab、运行于Spark平台的GraphX等。

(4)实时处理与批处理的整合

开发者在同一个平台既可以做批处理,也可以做实时流计算,还可以进行两种模式的混合使用。平台的整合降低了批处理与流处理???间的切换,有利于减少系统的开销,降低使用成本。;;例1n个志愿来自10个不同的城市,每个城市按每个志愿参加志愿活动降序排列。小明把n个志愿按城市分成10个集合,在每个集合进行排序,该算法主要采用的思想是()

A.顺序查找法 B.枚举法 C.分治算法 D.解析法

;;;;;;;;;;2.下列有关大数据按照类型划分的处理方式的描述,正确的是()

A.流数据采用批处理计算

B.静态数据采用流计算

C.社交网络的数据一般采用图计算

D.图数据采用批量计算

;A.Common公共库

B.分布式文件系统NTFS

C.分布式数据库HBase

D.分布式并行计算模型MapReduce;;1.某国要选举国家领导人,该国家分为多个地区,把每个选区的选票结果进行汇总,该算法主要体现的思想是()

A.顺序查找法 B.枚举法

C.分治算法 D.解析法

;2.某省在填报志愿时,由于报名人数较多,在各地市报名并把数据汇总在一起,该算法主要体现的思想是()

A.顺序查找法 B.枚举法

C.分治算法 D.解析法

;3.下列关于Hadoop平台的说法正确的是()

A.该平台只能处理结构化数据

B.处理信息必须通过可视化体现处理的结论

C.该平台中每台计算机都在处理相同的数据

D.该平台可以节省大型和复杂问题的处理时间

;4.下列应用中涉及静态数据处理的是()

A.统计上个月的交易量排行榜

B.实时更新导航线路

C.在线统计某个商品的点赞率

D.不断更新的电力数据

;5.下列应用中涉及流数据处理的是()

A.统计店铺的月交易量

B.用户有哪些信誉好的足球投注网站某关键词同时得到的推荐信息

C.上个月的地铁客流数据

D.用户一个月的煤气费账单

;6.目前,网盘的底层一般采用的文件系统是()

A.HDFS B.Ext4

C.FAT32 D.NTFS

;A.HBase是谷歌BigTable数据库的开源实现

B.底层存储采用建立在HDFS基础上

C.采用基于行的存储方式,可管理PB级的大数据

D.可以用于存储结构化、非结构