- 1、本文档共14页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
分布式计算调度系统的技术与实践要点
NORMANDY
分布式计算调度系统技术与实践
系统对标 | 取长补短
图片来源omega论文
现状| 庞然大物
p近4W台高性能计算机器
p10W台MR计算机器
p近15W台在线机器
p天级别上百万作业
现状 | 资源需求不均衡
CPU
MEM
问题 | 资源利用率低,阻碍业务发展
p机器规模庞大
p各计算平台独立,多维资源利用率低
p志愿计算无法有效降低离线机器预算
p资源割裂,无法满足业务快速发展需求
解决方案 | 统一服务调度系统
• 计算唯一入口
• 既是系统又是生态
分布式架构| 稳定、高效
Normandy调度端架构 | 简约、灵活
调度支持
p虚拟化交付,资源审计
p百度自研rpc系统Giano权限控制系统
p内置丰富的调度算法支持,best fit,next fit,
capacity,fair share,drf等
p物理队列、逻辑队列、抢占、预留、plugin作业、队
列优先级等丰富的辅助调度功能
plib raft灾备系统
Normandy单机架构 | 简约、灵活
单机支持
p成熟的单机隔离技术
p丰富的磁盘管理(Cache管理,log管理)
p单机资源监控(丰富的展示界面)
p支持多样的扩展逻辑(NFS,shuffle等)
p命令队列,状态缓存
独有功能
支持多种计算模型混合调度
支持跨IDC调度业务运算
抽象接口,可定制化调度算法
拥抱社区,兼容Yarn
强大的dce shuffle版MR技术
超大规模自建设机房
愿景 | 诗和远方
加速业务
迭代创新
百度私有
云调度神
经系统
定制化智
能调度算
法
结束 | 谢谢
QA
文档评论(0)