淘宝—张轩丞淘宝海量数据产品技术架构.pptVIP

回顾 关系型数据库仍然是王道 分库分表、冷热分离 NoSQL是SQL的有益补充 用冗余避免网络传输和随机读 用中间层隔离前后端 异构数据源的整合 缓存是系统化的工程 数据一致性、穿透与雪崩 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 矛盾之美 计算时机 计算场所 数据存储 “预算” “现算” 本地 集中 冷 热 SQL Hadoop / 实时计算引擎 MySQL + 中间层 MySQL单机 MyFOX中间层 7200 SATA盘 15000 SAS盘 + 缓存 NoSQL Hbase + 中间层 Hbase Region Server Prom中间层 HDFS HDFS + 缓存 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 谢谢 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. * * * * * * * * * * * * * * * * * * * * * * * * 淘宝海量数据产品技术架构 张轩丞（朋春） 淘宝网-数据平台与产品部 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 关于 张轩丞（朋春） 淘宝数据平台与产品部（杭州） vi党，脚本语言爱好者 关注NodeJS，cnode社区组织者之一 pengchun@ ：我是aleafs Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 数据平台与产品 淘宝网 淘宝卖家 供应商 消费者 有哪些信誉好的足球投注网站、浏览、收藏、交易、评价... Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 一些数字 淘宝主站： 30亿店铺、宝贝浏览 10亿计的在线宝贝数 千万量级交易笔数 数据产品： 50G统计汇总结果 千万量级数据查询请求 平均20.8ms的响应时间（6月1日） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 海量数据带来的挑战 计算 计算的速度 处理吞吐量 存储 存储是为了更方便地查询 硬盘、内存的成本 查询 “大海捞针” 全“表”扫描 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 架构总览 主站备库 RAC 主站日志 数据源 MyFOX Prom 存储 层 数据中间层 / glider 查询 层 数据魔方 淘宝指数 开放API 产品 Hadoop集群 / 云梯 计算层 实时流数据 DataX / DbSync / TimeTunnel 1500节点，每日40000 JOB，处理数据1.5PB，凌晨2点结束，结果20T Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 今天的话题 关系型数据库仍然是王道 NoSQL是SQL的有益补充 用中间层隔离前后端 缓存是系统化的工程 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 关系型数据库仍然是王道 Evaluation only. Cre