qq空间亿级服后台架构.pptx

ArchSummit全球架构师峰会 深圳站2016 QQ空间亿级服务后台架构 认识一下QQ空间 UGC写量 • UGC日写操作量 超2亿 • 照片上传量单日 超7亿 存储量 • 照片总存储超 200P 空间的数据（仅参考） 用户数 • 总活跃用户数超 6亿 • 日DAU超3亿 访问量 • 空间首屏日打开 量超30亿 目录  空间简介  系统架构 – 功能模块 – 系统演化之路  系统优化 – 用户侧流量优化 – 系统接入优化  系统容灾 – 全网调度 – 系统削峰 用户数据 关系链数据 权限数据 主要功能模块 UGC数据 日志系统 分享系统 留言板 基础数据 相册系统 商城系统 精细化 CDN服务 图片 视频 说说系统 手机QQ 手机空间 接入（WNS） Feeds系统 好友动态 （30天好友混排） 落地动态 （被动\个人档） FEEDS广告 FEEDS推荐 个性化设置 SNS模型对比 Feeds存储（数据量：9T，内存KV） 空间拉模型 拉取关系链 打开空间 拉取好友 Feeds 好友0 Feed0、Feed1、… 好友1 Feed0、Feed1、… Feed0、Feed1、… 好友2 Feed0、Feed1、… …… 好友199 10w/s 10w * 200/s 200好友 访问量： 10w * 200/s = 2000w/s 总流量： 10w * 200/s * 20条/人 * 1k/条 = 3.2T 存储量： 9T(内存) 优化后（引入时间戳按天存储） 时间戳存储（内存数组） Feeds存储（数据量：9T，内存KV） …… 10w * 10/s 拉取好友 Feeds 好友0 好友1 NewFeeds_TS0 NewFeeds_TS1 …… 好友0 好友1 好友2 Day0 Day0 Day0 Day1 Day1 Day1 Day29 Day29 Day29 … … … 好友9 Day0 Day1 Day29 … 访问量： 10w * 10/s = 100w/s 总流量： 10w * 10/s * 2条/人 * 1k/条 = 16G 存储量 9T （mem） 瓶颈 问题： 1，越活跃用户失败率越高 2，越到晚高峰失败率越高 3，存储量瓶颈 好友199 10w/s NewFeeds_TS2 10好友 拉取好友 时间戳 时间戳存储（内存数组） 再优化（引入索引） 拉取好友 Feeds KV 9T） Feeds_Data0 10w * 6/s 拉取好友 ts TS0 TS1 TS2 好友0 好友1 …… 好友199 10w/s 10好友 Feed_ID1 Feeds_Data1 Feed_ID2 Feeds_Data2 …… Feed_ID5 Feeds_Data3 拉取好友 idx 索引存储（内存KV 450G） 好友0 好友1 …… 好友9 Idx0...idx19 Idx0...idx19 Idx0...idx19 id0…id5 访问量： 10w * 6/s = 60w/s（请求再合并） 总流量： 10w * 6/s * 1条/人 * 1k/条 = 4.8G 存储量： 9T（SSD） Feeds存储（SSD Feed_ID0 问题： 1，越活跃用户失败率相对还是越高 好友0 TS0 好友1 TS1 好友9 TS9 好友10 TS10 再优化（索引分时间段拉取） Sorted时间戳 拉取好友 Feeds 拉取好友 ts 10w/s 拉取好友 idx id0…id5 计算时间区间 10好友(ts0 – ts9) …… 10个好友 时间段( ts0 – ts9) TS19 =20个好友 时间段( ts10 – ts19) … …… 好友19 …… 拉取索引 (好友0:t0-t9) (好友1:t0-t9) … (好友9:t0-t9) 越活跃，时间跨度就会越小 目录  空间简介  系统架构 – 功能模块 – 系统演化之路  系统优化 – 用户侧流量优化 – 系统接入优化  系统容灾 – 全网调度 – 系统削峰 图片类流量-图片适配 图片适配Server 加速域名 ／webp 转存／裁 减 场景／网络／屏 宽 图片要求  图片规格动态调整，根据场景动 态切换（单图、多图）（3G、 WIFI）  WEBP、h265等新格式使用。  流控，柔性控制