双11与大数据20141118.pdf

云计算与大数据的“大阅兵” ——双11与大数据 杜孝平博士@ 北航软件学院教授 xpdu@buaa.edu.cn 1 目录  阿里双十一战绩  光鲜背后的辛苦  从双十一看云计算与大数据发展 阿里双十一战绩 发生数据汇总  交易额：571亿  物流订单：2.87亿单  参与国家（地区）：217个  物流中转中心：617个  物流线路：3000多个  物流网点：50000个  配送区县：2600个  24小时限达：1500+区县  48小时限达：460区县  国际专线：217个国家（地区）  保税直邮：217个国家（地区） 光鲜背后的艰辛 12 挑 战  交易额：571亿  物流订单：2.87亿单  参与国家（地区）：217个  物流中转中心：617个  物流线路：3000多个 怎么保证在这些数字产生的过程中不出  物流网点：50000个 现大的影响销售的问题？  配送区县：2600个  24小时限达：1500+区县  48小时限达：460区县  国际专线：217个国家（地区）  保税直邮：217个国家（地区） 准 备 预案  2013年 2000套  2014年 500套 2014流量峰值压力测试  8次 投入人力  天猫事业部：2000员工  集团总部：11000员工  客服（天猫+商家）：近百万  菜鸟物流（14家合作伙伴）：125万快递员 问 题 1  活动页面如何展示？商品如何排序？  今年的天猫双十一，活动页面、商品排序都由算 法决定  哪些商品能进入双十一会场、出现在哪些用户的 页面和什么位置，都有数据算法在背后支撑  基于大数据的算法，可以让流量更加个性化。每 个人看到的双十一页面都不一样，大数据让推荐 更加精准  基于大数据的分析，能够预测下一阶段的消费热 点，并给商家提出建议 问 题 1  活动页面如何展示？商品如何排序？  今年的天猫双十一，活动页面、商品排序都由算 法决定  截止到2014年3月，阿里巴巴的数据  哪些商品能进入双十一会场、出现在哪些用户的 中心已经攒下超100PB经处理的数据 页面和什么位置，都有数据算法在背后支撑  需要大量高效的分析与预测算法对其  基于大数据的算法，可以让流量更加个性化。每 个人看到的双十一页面都不一样，大数据让推荐 进行处理 更加精准  基于大数据的分析，能够预测下一阶段的消费热 点，并给商家提出建议 问 题 2  如何防黑客攻击？防机房空调故障？防局部暴发 性流量增长？  基于过去五年双十一的考验，将上述不确定因素 变为可预估的风险  做好前述的预案、压力测试与人力准备工作  技术上攻克了世界级的创新难题-- “服务器资源 弹性部署”和“数据中心异地双活” 服务器资源弹性部署  用于应对不可预知的业务爆发  一旦有超出预期的业务热点出现，系统可自动调 用其他资源使用不足的服务器，实现“分钟级无 缝切换”  在不增加硬件部署