GOTC2023从ESB, Kafka, 到DaaS实时数据集成的技术变迁.pdf

「基础设施与软件架构」专场

从ESB,Kafka,到DaaS

实时数据集成的技术变迁

唐建法2023年05月28日

关于讲师

TJ/唐建法

Tapdata创始人

前MongoDB大中华区技术总监，MonogDB中文社区主席

4年摇滚键盘手,2年全球背包客

10年数据架构师,3年产品创业人

爱好：风筝冲浪、公路车、家庭乐队、房车旅行

01

数据集成的技术变迁

企业的现状：30年的信息化形成的数据孤岛

Q:如何高效支持：

30年企业信息化463套大型企业拥有

建设的系统数量

最自然的数据集成架构:Point-to-Point

Point-to-Point

数据消费者向数据提供者直接获取

通过API或者数据抽取方式

TheProblems

意大利面一样错综复杂，难以管理

难以扩展，支持多个业务系统

高耦合

重复劳动

EAI/ESB:中央化的集成架构

EAI/ESB

EAI:通过中央模块交换数据

ESB:最主流的EAI架构实现

特点和优势

中央化架构，提高可管理性

低耦合

可扩展性–增加新的系统对接

减少点到点的数据集成数量

ESB:正在被遗忘

ESB方案的缺点

架构清晰，实现太复杂

基于SOAP的协议逻辑耦合太强

XML：定义繁复，处理困难

结果：昂贵的开发实施和维护成本

APICentric的方案

APIGateway

基于RESTful/JSON

易读，易用

容易开发

TheLimitations

能力受限于已有系统的API设计

对源库有性能影响，特别是未优化SQL

消息中间件架构：MessageOrientedMiddleware

类似ESB一样有中间件，可以

解耦架构–两端不直接相连

异步处理–提升性能

源和目标使用单独的Adapter，集

成灵活

如何解耦：使用标准的Message格式

上游数据从A到C（中间格

式事件）

下游从C到B或者C到D

系统之间不直接产生关系

EventDrivenArchitecture

Broker

Kafka：最主流的MOM实现之一

优势

解耦式的数据集成架构

分布式，高性能，可达百万QPS/秒

事件存储，支持重放

完善的开源生态：几十种语言支持

Kafka作为数据集成方案的局限性

生产端需要解决Message入队列的开发

链路较长，节点较多，对实时集成的时延较高

复用的是Message，消费端需要对Message进行较多的开发来还原数据模型

客户端对Offset的管理

基于Message对增删改操作的封装

ExactlyOnce的保障需要客