- 1、本文档共25页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
阿里云Hadoop在云上的最佳实践阿里云Hadoop在云上的最佳实践
Hadoop在云上的最佳实践
阿里云技术专家封神
自我介绍
曹龙/封神
专注在大数据领域,6年分布式引擎研发经验;
先后维护上万台Hadoop、ODPS集群;
先后负责阿里YARN、spark及自主研发内存计算引擎;
目前为广大公共云用户提供专业的Hadoop服务,即:E-mapreduce产品
微博:阿里封神
微信:fengshenwukong
博客:云栖社区封神
提纲
• 阿里巴巴Hadoop发展历程
• 云上Hadoop的部署架构
• 云上Hadoop的优势
• 云上Hadoop的挑战
• 云上Hadoop的最佳实践
阿里巴巴Hadoop发展历程
15年
14年 对外提供
登月计划 Hadoop能
13年 内部迁移 力
双机房国内 到ODPS
最大的
09年 Hadoop集
开始研究 群之一
Hadoop
Hadoop生态
EMR Web User Admin
HUE Zeppelin notebook
pig Hive Spark Spark Spark Spark Other Engine
SQL Graphx Mllib Streaming Hbase eg:storm
impala、
MapReduce/TEZ Spark Core flink等其它开源
软件
YARN
HDFS Tachyon
EMR Agent Layer
ECS
云上Hadoop的部署架构-经典部署
NM NM NM RM
DN DN DN NN
Task Node
Core Node Master Node
NM NM RM
NM
文档评论(0)