Cellar分布式KV存储.PDF

Cellar分布式KV存储 齐泽斌@基础架构 201612 个⼈简介 • 基础架构中心，KV存储团队负责人 • Cellar：基于Tair研发的新一代KV存储服务 • Databus：数据库变更实时传输系统 • Venus：图片服务 • 14年加入美团INF，11年到14年在百度负责分布式存储研发 概要 • 分布式存储技术概览 • Tair架构原理 • Cellar架构原理 • KV存储规划 分布式存储技术概览 • 架构设计 • 数据分布 • 数据复制 • 跨地域复制 分布式存储-架构设计 GFS中⼼化架构设计 分布式存储-架构设计 如何通信？Gossip 一致性？最终一致性 Dynamo去中⼼化架构 分布式存储-架构设计 如何通信？Gossip 一致性？最终一致性 Dynamo去中⼼化架构 分布式存储-架构设计 如何通信？Gossip 一致性？最终一致性 Dynamo去中⼼化架构 分布式存储-架构设计 如何通信？Gossip 一致性？最终一致性 Dynamo去中⼼化架构 分布式存储-架构设计 中心化(GFS、 去中心化（Dynamo、 Bigtable) Redis-cluster） 实现难度 低 高 一致性 强 弱 单点问题 有(主备) 无 系统瓶颈 有 无 运维成本 较高 低 分布式存储-数据分布 • hash/一致性hash • Dynamo • 数据范围 • Bigtable/HBase • 数据量 • GFS 分布式存储-数据复制 分布式存储-数据复制 一对多 • 优点：实现简单、延迟低 • 缺点：主节点出口带宽大 分布式存储-数据复制 一对多 • 优点：实现简单、延迟低 • 缺点：主节点出口带宽大 pipeline • 优点：节点带宽均衡 • 缺点：复制延迟大、实现相对复杂 分布式存储-跨地域复制 Cassandra跨地域数据同步 分布式存储-跨地域复制 Local region Remote region Routers Routers