2025年大数据中台架构栈.doc

近来数据中台概念大火，大家對它的定义也五花八门，不一而足。但無论怎么定义，一种完善的数据技术

架构必不可少。理解這些架构裏每個部分的位置，功能和含义，不仅能让我們更好理解数据产品的范围和

边界，懂得技术能幫我們实現什么，能怎么实現得更好，另首先，诸多技术的设计理念對我們认知世界，

理解复杂系统也會有所裨益。因此這篇文章意在梳理市面上常見的開源技术方案，背後原理及应用場景，

协助产品經理對大数据技术体系有個大体全面的理解。

一般来說，我們将数据整個链条辨别為四個环节，從数据采集传播，到数据存储，再到数据计算查询，到

後续的数据可视化及分析。框架图如下：

数据采集传播

這個一般對应于企业的曰志平台，任务是将数据采集後缓存在某個地方，供後续的计算流程進行消费使用。

针對不一样的数据来源有各自的采集方式，從APP/服务器曰志，到业务表，尚有多种API接口及数据文献

等等。其中由于曰志数据有数据量多，数据构造多样，产生环境复杂等特點，属于「重點关照」的對象。

目前市面针對曰志采集的有Flume，Logstash，Filebeat，Fluentd，rsyslog几种常見的框架，我們挑

应用较广泛的前两者简介下：

Flume和LogstashFlume是一款由Cloudera開发的实時采集曰志引擎，主打高并发，高速度，分

布式海量曰志采集。它是一种提供高可用、高可靠、分布式海量曰志采集、聚合和传播的系统。Flume支

持在曰志系统中定制各类数据進行发送，用于采集数据；同步，它支持對数据進行简朴处理，并写到多种

数据接受方。目前有两個版本，OG和NG，特點重要是：

侧重数据传播，有内部机制保证不會丢数据，用于重要曰志場景

由java開发，没有丰富的插件，重要靠二次開发

配置繁琐，對外暴露监控端口有数据

Logstash是Elastic.co旗下的一种開源数据搜集引擎，可動态的统一不一样的数据源的数据至目的地，搭

配ElasticSearch進行分析，Kibana進行页面展示，是著名的ELK技术栈中的「L」部分。特點重要是：

内部没有一种persistqueue，异常状况也許會丢失部分数据

由ruby编写，需要ruby环境，插件诸多

配置简朴，偏重数据前期处理，分析以便

從两者的设计思想来看，Flume最初并不是為了采集曰志而设计，而是定位在把数据传入HDFS中，這和

Logstash有主线的区别。因此它理所应當侧重于数据的传播和安全，且需要更多的二次開发和配置工作。

而Logstash明显侧重先對曰志数据進行预处理，為後续的解析做铺垫。它搭配ELK技术栈使用起来比较

简朴，更像是為你准备好的便當，開盒即食。

曰志采集怎样工作

我們以Flume為例子讲些曰志采集Agent是怎么工作的。

Flume由三個部分构成：Source，Channel和Sink，對应于采集，缓存和保留三個环节。

其中，Source组件用来采集多种类型的数据源，如directory、http、kafka等。Channel组件用来缓存

数据，有memorychannel，JDBCchannel和kafkachannel三种。最终再通過Sink组件進行保留，分

别支持HDFS，HBase，Hive和Kafka四种存储方式。

下面結合一种大数据实時处理系统论述下Flume在实际应用中所饰演的重要角色。该实時处理系统整体架

构如下：通過将Agent布署在Web服务器，一旦发生新增的曰志数据，就會被Flume程序监听到，并且

最终會传播到Kafka的Topic中，再進行後续的一系列操作。

数据传播Kafka

Kafka最初是由领英開发，并随即于初開源,并于10月23曰由ApacheIncubato孵

化出站。该项目的目的是為处理实時数据提供一种统一、高吞吐、低延迟的平台。其持久化层本质上是一

個“按照分布式事务曰志架构的大规模公布/订阅消息队列”，這使它作為企业级基础设施来处理流式数据

非常有价值。

数据存储

数据库存储方面，有單机/分布式、关系型/非关系型、列式存储/行式存储三個维度的划分，多种维度交叉

下均有對应产品来处理某個場景下的需求。

在数据量较小的状况下，一般采用單机数据库，如应用非常广泛，技术成熟的MySQL。数据量大到一定程

度後，就必须采用分布式系统了。目前业界最著名的就是Apache基金會名下的Hadoop系统，它基本可

以作為大数据時代存储计算的經典模型。

HDFS

HDFS作為Hadoop裏的分布式文献系统，為HBase和Hive們提供了高可靠性的底层存储支持，對应于

GoogleGFS的開源实現。一般也會用于某些批次分析的場景。

HBase

HBase是Hadoop数据库，作為基于列的非关系型数据库运行在HDFS上。它具有HDFS缺乏的随机讀写

能力，因此比