- 1、本文档共29页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
阿里hadoop集群架构及服务体系
阿里Hadoop集群架构及
服务体系
梁李印(无影)
阿里巴巴集团-海量数据
大纲
1. 集群发展现状
2. 集群服务模式及挑战
3. Hadoop版本特性
4. 集群用户门户
5. 集群核心业务架构(三淘)
Alibaba confidential
集群发展现状 规模
3000
3000
2500
2000
2000
1500 集群规模(台)
1000
1000 700
500 200
0
2009.4 2010.3 2010.7 2012.1 2012.10
上线 集群迁 Oracle RAC基 服务扩展
迎战11.11
移机房 本迁移完成 至全集团
Alibaba confidential
集群发展现状 容量与负载
• 集群容量 • 集群负载
– 约3200台服务器 – 每天Job数 150,000+道
– 物理CPU ~30000核 – 每天hive query数 6,000+
– 每天扫描数据量 ~7.5PB
– 内存 ~100TB
– 每天扫描文件数 ~4亿
– 磁盘 ~36000块
– 存储利用率 ~80%
– 存储容量 ~60PB
– CPU利用率~65% 峰值80%
Alibaba confidential
集群发展现状 业务
• 150+集群用户组
• 4,500+集群用户 淘宝
一淘
• 阿里的“水电煤”服务 天猫
聚划算
CBU
支付宝 HDFS MapReduce
云梯Hadoop集群
Alibaba confidential
集群服务模式 分组管理
文档评论(0)