《大数据及人工智能》应知应会手册.pdf

1.1大数据基础知识

1.1.1大数据应用流程

数据源数据采集数据建模数据加工

1.1.2大数据数据采集：

flume（日志收集系统）Kafka(分布式发布订阅消息系统)

1.1.3Flume介绍：

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的

系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对

数据进行简单处理，并写到各种数据接受方（比如文本、HDFS、Hbase等）的能力。

1.1.3.1Flume核心概念：

Client：Client生产数据，运行在一个独立的线程。

Event：一个数据单元，消息头和消息体组成。（Events可以是日志记录、avro对象等。）

Flow：Event从源点到达目的点的迁移的抽象。

Agent：一个独立的Flume进程，包含组件Source、Channel、Sink。（Agent使用JVM运

行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。）

Source：数据收集组件。（source从Client收集数据，传递给Channel）

Channel：中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel

连接sources和sinks，这个有点像一个队列。）

Sink：从Channel中读取并移除Event，将Event传递到FlowPipeline中的下一个Agent

（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）

1.1.3.2Flume的可靠性：

Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent

首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），

Storeonfailure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢

复后，继续发送），Besteffort（数据发送到接收方后，不会进行确认）。

1.1.4Kafka介绍：

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于

zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、

访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

主要应用场景：日志收集系统和消息系统。

1.1.4.1Kafka的优点：

1、解耦；2、冗余；3、扩展性；4、灵活性；5、可恢复性；6、顺序保证；7、缓冲；8、

异步通信

1.1.4.2Kafka一些核心概念：

1、Kafka集群包含一个或多个服务器，服务器节点称为broker。

2、每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。

3、topic中的数据分割为一个或多个partition。每个topic至少有一个partition。

4、Producer（生产者）即数据的发布者，该角色将消息发布到Kafka的topic中。

5、Consumer消费者可以从broker中读取数据。消费者可以消费多个topic中的数据。

6、每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读

写的partition。

7、Follower跟随Leader，所有写请求都通过Leader路由，数据变更会广播给所有Follower，

Follower与Leader保持数据同步。如果Leader失效，则从Follower中选举出一个新的Leader。

当Follower与Leader挂掉、卡住或者同步太慢，leader会把这个follower从“insyncreplicas”

（ISR）列表中删除，重新创建一个Follower。

1.1.5Hadoop介绍：

Hadoop是一个