网站大量收购闲置独家精品文档,联系QQ:2885784924

分布式计算调度系统的技术与实践.pptx

  1. 1、本文档共14页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
分布式计算调度系统的技术与实践要点

NORMANDY 分布式计算调度系统技术与实践 系统对标 | 取长补短 图片来源omega论文 现状| 庞然大物 p近4W台高性能计算机器 p10W台MR计算机器 p近15W台在线机器 p天级别上百万作业 现状 | 资源需求不均衡 CPU MEM 问题 | 资源利用率低,阻碍业务发展 p机器规模庞大 p各计算平台独立,多维资源利用率低 p志愿计算无法有效降低离线机器预算 p资源割裂,无法满足业务快速发展需求 解决方案 | 统一服务调度系统 • 计算唯一入口 • 既是系统又是生态 分布式架构| 稳定、高效 Normandy调度端架构 | 简约、灵活 调度支持 p虚拟化交付,资源审计 p百度自研rpc系统Giano权限控制系统 p内置丰富的调度算法支持,best fit,next fit, capacity,fair share,drf等 p物理队列、逻辑队列、抢占、预留、plugin作业、队 列优先级等丰富的辅助调度功能 plib raft灾备系统 Normandy单机架构 | 简约、灵活 单机支持 p成熟的单机隔离技术 p丰富的磁盘管理(Cache管理,log管理) p单机资源监控(丰富的展示界面) p支持多样的扩展逻辑(NFS,shuffle等) p命令队列,状态缓存 独有功能 支持多种计算模型混合调度 支持跨IDC调度业务运算 抽象接口,可定制化调度算法 拥抱社区,兼容Yarn 强大的dce shuffle版MR技术 超大规模自建设机房 愿景 | 诗和远方 加速业务 迭代创新 百度私有 云调度神 经系统 定制化智 能调度算 法 结束 | 谢谢 QA

文档评论(0)

dajuhyy + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档