Spark大数据分析 课件 1.3 其他数据处理框架.pptx

其他数据处理框架

目录/Contents01Hadoop02Storm03Flink04Beam

Hadoop01

HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop的核心是HDFS和MapReduce、YARN。

HadoopDHDFS是一个高度容错性的系统，能检测和应对硬件故障，适合部署在廉价的机器上HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。EMapReduce是一个基于java的并行分布式计算框架，使用它来编写的数据处理应用可以运行在大型的商用硬件集群上来处理大型数据集中的可并行化问题，数据处理可以发生在存储在文件系统（非结构化）或数据库（结构化）中的数据上。FApacheHadoopYARN是开源Hadoop分布式处理框架中的资源管理和作业调度技术。作为ApacheHadoop的核心组件之一，YARN负责将系统资源分配给在Hadoop集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务。(1)HDFS(2)MapReduce(3)YARN

Storm02

Storm简单的编程模型：类似于MapReduce降低了并行批处理复杂性，Storm降低了实时处理的复杂性，只需实现几个接口即可（Spout实现ISpout接口，Bolt实现IBolt接口）。支持多种语言：你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。容错性：nimbus、supervisor都是无状态的,可以用kill-9来杀死Nimbus和Supervisor进程,然后再重启它们,任务照常进行;当worker失败后,supervisor会尝试在本机重启它。分布式：计算是在多个线程、进程和服务器之间并行进行的。持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。可靠的消息处理：Storm保证每个消息至少能得到一次完整处理。任务失败时，它会负责从消息源重试消息（ack机制）。快速、实时：Storm保证每个消息能能得到快速的处理。

StormStorm的核心组件Nimbus：即Storm的Master，负责资源分配和任务调度。一个Storm集群只有一个Nimbus。Supervisor：即Storm的Slave，负责接收Nimbus分配的任务，管理所有Worker，一个Supervisor节点中包含多个Worker进程。Worker：工作进程，每个工作进程中都有多个Task。Task：任务，在Storm集群中每个Spout和Bolt都由若干个任务（tasks）来执行。每个任务都与一个执行线程相对应。Topology：计算拓扑，Storm的拓扑是对实时计算应用逻辑的封装，它的作用与MapReduce的任务（Job）很相似，区别在于MapReduce的一个Job在得到结果之后总会结束，而拓扑会一直在集群中运行，直到你手动去终止它。Stream：数据流（Streams）是Storm中最核心的抽象概念。一个数据流指的是在分布式环境中并行创建、处理的一组元组（tuple）的无界序列。

StormStorm的核心组件Spout：数据源（Spout）是拓扑中数据流的来源。一般Spout会从一个外部的数据源读取元组然后将他们发送到拓扑中。Bolt：拓扑中所有的数据处理均是由Bolt完成的。通过数据过滤（filtering）、函数处理（functions）、聚合（aggregations）、联结（joins）、数据库交互等功能，Bolt几乎能够完成任何一种数据处理需求。Streamgrouping：为拓扑中的每个Bolt的确定输入数据流是定义一个拓扑的重要环节。数据流分组定义了在Bolt的不同任务（tasks）中划分数据流的方式。在Storm中有八种内置的数据流分组方式。Reliability：可靠性。Storm可以通过拓扑来确保每个发送的元组都能得到正确处理。通过跟踪由Spout发出的每个元组构成的元组树可以确定元组是否已经完成处理。

Flink03

Flink1．处理无界和有界数据任何类型的数据都是作为事件流产生的。信用卡交易，传感器测量，机器日志或网站