Spark大数据分析 课件 1.3 其他数据处理框架.pptxVIP

其他数据处理框架

Hadoop

Storm

Flink

Beam

1

0

2

3

04

Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是一个存储系统+计算框架的软件框架。主

要解决海量数据存储与计算的问题，是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。

Hadoop的核心是HDFS和MapReduce、YARN。

(1)HDFS

HDFS是一个高度容错性的系统，能检测和应对硬件故障，适合部署在廉价的机器上HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。

(2)

MapReduce

MapReduce是一个基于java的并行分布式计算框架，使用它来编写的数据处理应用可以

运行在大型的商用硬件集群上来处理大型数据集中的可并行化问题，数据处理可以发生在存储在文件系统(非结构化)或数据库(结构化)中的数据上。

(3)YARN

ApacheHadoopYARN是开源Hadoop分布式处理框架中的资源管理和作业调度技术。

作为ApacheHadoop的核心组件之一，YARN负责将系统资源分配给在Hadoop集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务。

Hadoop

Storm

简单的编程模型：类似于MapReduce降低了并行批处理复杂性，

Storm降低了实时处理的复杂性，只需实现几个接口即可(Spout实现ISpout接口，Bolt实现IBolt接口)。

支持多种语言：你可以在Storm之上使用各种编程语言。默认支持

Clojure、Java、Ruby和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。

容错性：nimbus、supervisor都是无状态的，可以用kill-9来杀死Nimbus和Supervisor进程，然后再重启它们，任务照常进行；当worker失败后，supervisor会尝试在本机重启它。

分布式：计算是在多个线程、进程和服务器之间并行进行的。

持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。

可靠的消息处理：Storm保证每个消息至少能得到一次完整处理。任务失败时，它会负责从消息源重试消息(ack机制)。

快速、实时：Storm保证每个消息能能得到快速的处理。

Storm

Nimbus:即Storm的Master,负责资源分配和任务调度。一个Storm集群只有一个Nimbus。

Supervisor:即Storm的Slave,负责接收Nimbus分配的任务，管理所有Worker,一个Supervisor节点中包含多个Worker进程。

Worker:工作进程，每个工作进程中都有多个Task。

Task:任务，在Storm集群中每个Spout和Bolt都由若干个任务(tasks)来执行。每个任务都与一个执行线程相对应。

Topology:计算拓扑，Storm的拓扑是对实时计算应用逻辑的封装，它的作用与MapReduce的任务(Job)很相似，区别在于MapReduce的一个Job在得到结果之后总会结束，而拓扑会一直在集群中运行，直到你手动去终止它。

Stream:数据流(Streams)是Storm中最核心的抽象概念。一个数据流指的是在分布式环境中并行

创建、处理的一组元组(tuple)的无界序列。

Storm

Spout:数据源(Spout)是拓扑中数据流的来源。一般Spout会从一个外部的数据

源读取元组然后将他们发送到拓扑中。

Bolt:拓扑中所有的数据处理均是由Bolt完成的。通过数据过滤(filtering)、

函数处理(functions)、聚合(aggregations)、联结(joins)、数据库交互等

功能，Bolt几乎能够完成任何一种数据处理需求。

Streamgrouping:为拓扑中的每个Bolt的确定输入数据流是定义一个拓扑的重要环节。数据流分组定义了在Bolt的不同任务(tasks)中划分数据流的方式。在

S