MySQL开源数据传输中间件架构设计实践.pdf

MySQL开源数据传输 中间件架构设计实践 MySQL Replication MySQL Replication • 功能不⾜ • 按库、表筛选 • 数据落地，开销较⼤ • 灵活性较弱 • 应⽤场景多为⾼可⽤ 核⼼场景 场景 需求 异地多活 实时同步，双向复制，链路压缩、加密、限速，跨⽹络边际，可靠性 数据汇聚 按库、表、⾏、简单表达式等⽅式筛选 分发 数据订阅 CDC ⽇志解析，to Kafka 在线数据 异构DB间，同构DB间，全量+增量同步、数据⼀致性校验 迁移 云间同步 ⽀持主流公有云⼚商RDS for MySQL 设计原则 • 易⽤性 • 易于部署、易于使⽤ • 可靠性 • ⽆单点⻛险、故障⾃愈、数据⼀致性 DTLE DTLE (Data-Transformation-le) 是上海爱可⽣ 贡献开源社区的 CDC ⼯具. 具备以下特点: •多种数据传输模式：⽀持链路压缩，⽀持同构和异构传输，⽀持跨⽹络边际的传输 •多种数据处理模式：⽀持库/表/⾏级别数据过滤 •多种数据通道模式：⽀持多对多的数据传输、⽀持回环传输 •多种源/ ⽬标端：⽀持MySQL - MySQL的数据传输，⽀持MySQL - Kafka的数据传输 •集群模式部署 •提供可靠的元数据存储 •可进⾏⾃动任务分配 •⽀持⾃动故障转移 /actiontech/dtle 架构 集群机制 • Manager节点 • 3节点Raft选主同步元数据 • 分发任务 • Agent节点 • 上报⼼跳 • 处理任务 拓扑结构 • 1:1同步 • n:1汇聚 • 1:n拆分 拓扑结构 • 1:1同步(带压缩限速) • n:n同步(带压缩限速) • 双向同步 技术栈 • 全栈Golang • Hashicorp • nomad • consul • serf • NATS 功能 • 集群式架构部署，⽀持故障转移 • binlog回放、SQL回放 • 仿MySQL MTS机制并⾏回放 • ⽀持增量断点续传 • 全量增量同步 • 库级、表级、⾏级筛选 • 链路压缩、跨⽹络边际 • ⾃动建表 • ⽀持DDL 限制 • 仅⽀持 MySQL 5.6/5.7 版本 • 仅⽀持 InnoDB 引擎 • 仅⽀持以下字符集: latin1、latin2、gbk、utf8、utf8mb4、binary • 仅⽀持binlog_format=row和binlog_row_image=full • 源端和⽬标端lower_case_table_names配置必须保持⼀致 • 必须开启 GTID • 不⽀持 Trigger • 仅⽀持MySQL认证⽅式 mysql_native_password, 暂不⽀持其他类型的 defa