支撑百亿级访问微博Feed平台的缓存架构及演进之路.PDF

支撑百亿级访问 微博Feed平台的缓存架构及演进之路 新浪微博陈波@fishermen 微博Feed的缓存架构及演进之路 大纲 • 数据挑战 • Feed架构 • Cache架构及演进 • 总结及展望 数据挑战 微博数据 平台接口 日活用户1.4亿+ 日访问百亿级 Cache 核心记录千亿级 内存百T级 Cache 单个核心数据 日访问万亿级 Cache QPS百万级 Feed架构 Feed平台系统架构 • 总体架构 Feed架构 Feed timeline • 构建流程 Cache架构及演进 Feed Cache • Cache 架构 Cache架构及演进 简单KV数据类型 （MC） • 单层HASH • Main-HA Cache架构及演进 简单KV数据类型 • Main-HA-L1 Cache架构及演进 简单KV数据类型 • Key Point • 层内HASH节点不漂移，miss则穿透 • 多组L1 读取性能升峰值流量成本降 • 多层访问命中率升,可用性高，cache node故障透明 • MC data：Protocol Buffer, QuickLZ 压缩 • 读写策略 • Write ：多写 • Read：逐层穿透，miss 回写 Cache架构及演进 集合类数据类型 • MC • Json/xml à PB • Client 序列化反序列化 • Redis • 关注，粉丝，分组，共同关注，XX也关注 • 部分修改，分页获取，资源计算 • Hash 分布，MS，cache/storage • 30+T 内存，2-3万亿rw/day Cache架构及演进 Weibo Redis 扩展 • Longset • Long型开放数组，Double Hash 寻址 • Client 构建数据结构，elements 单次写入 • Lsput：填充率过高，由client重建 • Lsgetall/ Lsdump MC 做前置抗量 Cache架构及演进 Weibo Redis 扩展 • 其他扩展 • 热升级: 10+分钟à毫秒级 • 落地：RDB + rotate Aof • 全增量复制 • 落地/ 同步速控 Cache架构及演进 其他数据类型-计数 • Memcached / Redis • MC 剔除，重启数据丢失 • Redis 内存