Raft百度云存储实践.pdf

Raft在百度云存储实践 王耀 2017/01/15 About Me • 王耀 • 百度云高级架构师 • 资深轮子党 • 分布式存储熟练工 ABC时代的分布式存储 容量 性能 多样性 EB级存储需求 高吞吐 内容：网页、广告、日志、UGC 每日新增百PB数据 低延时 类型：文本、图片、视频 数据长期备份 性能横向扩展 形式：结构化、半结构化、非结 构化 百度云存储 •分类 • 消息队列 • 文件系统 • 块存储 • 对象存储 • 表格存储 CCDB存储体系 Table File Object Interface Permission Isolation Priority Platform Replication Recovery Control Distributed Table Engine File Engine KV Engine Engine Replica Block System Raid-like Block System Block Memory SSD Disk Hardware AFS新存储体系 分布式存储面临的问题 • 如何分片 • 如何复制 • 如何修复 • 节点加入 • 节点离开 • 如何负载均衡 • 如何规避IO慢节点 一致性复制协议 • Basic Paxos • Multi Paxos • Viewstamped Replication • QJM • ZAB Raft简介 • Leader Election • Log Replication • Membership Change • Log Compaction Raft之Node状态转移 Raft之Log状态转移 libraft之复制修复 raft在分布式存储 • Core Building • Lock • Block • Queue • Table • File • NewSQL 轮子libraft • 业界现状 • 需求目标 – C++实现较少 – 高性能 – 通用库 – 大部分类zk服务 – 自定义storage – 功能不完备 – 功能完备 – 性能不好 – prevote – 测试不充分