实时计算平台实践.pdf

淘宝实时计算平台实践 离哲@淘宝网 @flyinweb 1.简介 2.现状 3.历叱变迁 4.架构总览 5.关键特性 6.应用案例 7.未来展望 海量 数据 ? 无 规则 轻 结构 时间 实时计算定义： 针对历叱数据进行即时数据的获取和计算 相关： RTOLAP(Realtime OLAP) Grid Computing In-memory database 一些数字：  已接入： 有哪些信誉好的足球投注网站成交信息 5 亿 / 天 活跃用户信息 1 亿  即将接入： 用户类目偏好信息 10 亿 用户品牌偏好信息 20 亿 性能： QPS 300 AVG Query Scan Row 300 万 AVG Query Compute Column 50 • 海量数据 •无法预算 •低延时 •计算精确 • 高并发 •高可用 • SQL •Schema Free 分布式/全索引/内存/数据库 Redis集群 Tokyo Cabinet集群 Prom Service 冗余ID 列表 明细数据 分片统计结果 1.冗余度 2.明细数据慢 3.规则变复杂 Hbase集群 冗余ID 列表 明细数据 Redis集群 分片统计结果 Prom Service 1.冗余度 2.网络带宽 3.定制性 1.倒排索引 2.本地计算(Hbase) 3.自动扩容(Hbase) MN-1 (合并节点) CCN 配置中心 LCN-1 (本地计算节点) LCN-… (本地计算节点) CN-1 (缓存节点) CN-… (缓存节点) MN-.. (合并节点) 云梯1/云梯2（数据源） 盘古集群(集中存储) ITier ITier WEB ISV 中间层 请求 Garuda 数据源存储 MCN 管理中心 REST MYSQL JDBC ZK ZK REST PANGU/HDFS JDBC Fixed/Free Schema（列存储） Partition/TableGroup 全索引 本地计算 大表Join 缓存 资源管理调度 可用性 全部导入/局部导入 列存储 Table对象 TableSchema对象 总记录计数器 Int二维数组 Short二维数组 TableSchema对象 ColumnSchema 数组 版本信息 …. ColumnSchema对象 列名 列类型 类型下标 默认值 定位数据列 同一条记录在所 有数组顺序一致 查询/计算 性能无损  Partition • Interval • Range • Hash  TableGroup • Join • PartitionGroup Garuda DBx TableGroupx Table Partition  计算列/索引列(倒置) • 计算列 @ memory • 索引列 @ disk  索引 • Hash • B+Tree • Skiplist • Bitmap  倒排  压缩 • String？ • PForDelta(7%) Index array(abstract) treeT,int[] SSD skiplistT,int[] SSD hashmapT,int[] SSD uniqueT,int memory 数据结构 数据集大 小(亿条) 每次参与运算 数据量(条) 线程数 每请求耗时 (ms) 总耗时 (ms) 每秒处理记 录数 Array 5 200,000 100 10 177 112994350 5 200,000 1000 5 772 259067358 Hashmap 5 200,000 100 653 1143 5 200,000 1000 533 10838 SkipList 5 200,000 100 28959 41853 477863 5 200,000 1000 47439 36179 5 552799 B+ tree 5 200,000 100 3922 6112 3272251 5 200,000 1000 4261 58458 3421260 特别说明：此为单台 16