Redis在新浪的大规模运维经验.pptx

Redis在新浪的大规模运维经验 @曾经的阿飞 rj03hou@; 关于我 ?DBA@新浪网 ?MySQL、Redis、HBase; 大纲 ?Redis简介 ?Redis应用 ?运维经验;2013-5-6; Redis简介 ?REmote DIctionary Server ?in-memory but persistent database on disk ?Start at 2009 by @antirez ?Open source; 存储cache ?string、hash、list、set、sorted set ?持久化 ?高性能 ?过期时间; 持久化 ?rdb ?aof; rdb ?Fork子进程，copy on write – rdbcompression yes – dbfilename r7700.rdb – save seconds changes;aof; bgrewriteaof ?Append ?Rewrite – Fork子进程 – 子进程遍历所有key写入临时文件 – 父进程更新aof写入缓冲区 – 缓冲区追加临时文件 – 替换已有的aof文件; bgrewriteaof ?auto – auto-aof-rewrite-percentage 100 ? aof_current_size ? aof_base_size – auto-aof-rewrite-min-size 64mb ?crontab ?remote集中式; 恢复 ?恢复过程 – 只打开aof，使用aof加载 – 同时打开aof和rdb，使用aof加载 – 打开rdb，使用rdb加载;;2013-5-6; 大纲 ?Redis简介 ?Redis应用 ?运维经验; 现状 ?实例 1500+ ?内存总量：15T+ ?访问量：2000亿+/天;2013-5-6;2013-5-6;2013-5-6; 业务 ?String ?Hash ?List ?Set ?Sorted set; 粉丝关注 ?粉丝列表 ?关注列表 ?互相关注列表;粉丝关注;?Hash – Key: user_id – Field: friend ids – Value: added time ?相关操作 – 加关注：hset user_id friend_id added_time – 删关注：hdel user_id friend_id – 获取关注用户的时间：hget user_id friend_id – 获取关注列表：hgetall user_id; 演化 ?Sharding; 通知 ?Hash – Key=uid – Filed=appkey – Value=count; 通知 ?List; 通知 ?Set – Key=uid – Value=appkey;2013-5-6; 大纲 ?Redis简介 ?Redis应用 ?运维经验; 运维经验 ?自劢化 ?监控报警 ?Redis HA ?改进 ?坑; 自劢化 ?自劢部署;信息查询;自劢部署;自劢扩容;资源池;2013-5-6;?自劢部署 ?自劢迁移 ?自劢扩容;2013-5-6; 报警 ?CPU – 单核使用率 ?Load ?Disk – 剩余空间 – 增长速度; 报警 ?Connect ?Replication ?connected_clients ?AOF – aof_current_size/aof_base_size; 报警 ?Memory – 服务器可用内存 – 实例可用内存 ? maxmemory; Redis HA ?双写 ?复制;双写;复制; 已有方案 ?redis_failover – 多IDC ?官方的Sentinel – 分布式 ?双写 – 数据的一致 – 服务恢复;redis_failover;2013-5-6;Redis HA;2013-5-6; 经验 hash-max-zipmap-entries 512 hash-max-zipmap-value 512 list-max-ziplist-entries 512 list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 activerehashing yes; 经验 ?网卡中断 ?Bgrewriteaof戒者bgsave分开 ?充裕的磁盘空间(128G*2*3=768G) ?RAID卡; 改进 ? Rediscounter – rdb+aof – aof