云计算与大数据技术 课件8.2日志采集工具Flume.pptx

数据采集概述

FlumeNGFlumeNG是一个高度可靠、可扩展且分布式的系统，用于收集、聚合和传输海量日志数据。使用FlumeNG可以将从多个服务器中获取的数据迅速移交给Hadoop。FlumeNG还可以用于接入和收集大规模的社交网络节点事件数据，如来自QQ、微信或淘宝等的数据。

FlumeNG的基本架构Agent是FlumeNG的核心组件，它以事件（Event）的形式将数据从源头发送至目的地。

FlumeNG的基本架构Agent主要组成部分包括Source、Channel、Sink；Flume数据传输的基本单元是Event。

Agent主要组成部分Source负责接收各种类型、各种格式的数据，并将其传递给对应的Channel。Channel是一个位于Source和Sink之间的数据缓冲区。它从Source接收数据，并将其存储在内部缓冲区中，直到有Sink消费掉Channel中的数据。Sink不断地从Channel中拉取事件（Event），并批量地将它们从Channel中移除。随后，这些被移除的事件会被批量地写入存储系统、索引系统，或者被发送至另一个FlumeAgent进行处理。

FlumeNG的基本架构Event是Flume数据传输的基本单元，是以“事件”的形式将数据从源头发送到目的地。每个Event由Header和Body两部分组成。