京东云原⽣跨域⼤数据平台落地实践.pptx

京东云原?跨域?数据平台落地实践京东零售-集团数据计算平台部/吴维伟

?录???.京东?数据平台概况?.京东云原??数据平台建设背景和挑战三.京东云原??数据平台落地实践?四.落地收益五.未来规划?离在线混部跨域存储

京东?数据平台是京东?数据业务的基础服务平台，为京东?数据业务的实现提供?站式、?助式的?数据处理全流程解决?案。涵盖数据采集、存储、加?、分析、可视化、机器学习等专业化产品和服务，通过数据集中从?形成?效的数据开放，在保障数据安全的前提下，提供?助式的服务平台，?幅降低?数据消费?槛，帮助京东?数据业务快速落地，助?京东实践以数据为驱动的业务变?与发展。云原?存算分离Hadoop提供?站式、?助式的?数据处理全流程解决?案跨域?数据架构?.云原??数据平台概况

集群规模数百万核存储能?数EB计算能??运?job数百万?.云原??数据平台概况-平台架构

?标?促期间在线业务0采购扩容?常在线资源共享给离线使?=云原?弹性伸缩架构升级资源弹性伸缩的最?价值是通过资源共享?式充分复?资源，在资源使?上的错峰填?，以达到提升集群资源利?率的效果，实现资源价值最?化。架构升级在线服务K8S实时计算离线计算YARN离线计算在线服务 实时计算YARN离线调度混部资源调度(JMR)（控制混部离在线资源?例、弹性伸缩）K8S痛点?促期间在线业务采购机器应对业务?峰?常在线资源利?率低?.云原??数据平台-建设背景

如何统?离线和在线的资源调度?离线在线混合部署时，如何保证在线业务不受影响，离线业务基本稳定？?.云原??数据平台-建设挑战

跨机房资源共享后，跨机房数据访问如何避免影响在线任务（?络隔离与流控）?.云原??数据平台-建设挑战

三.落地实践-（1）计算混部资源池化???资源统?封装，屏蔽底层IaaS特性统?资源调度，上层应?系统?感使?按需调度，?促节点，离线仅需借出数?时资源?效利?在线应?和离线计算具有资源互补的特点，可通过统?资源调度提升资源复?率统?资源协同离线计算在线计算共享资源池在线资源离线资源混部资源

K8S统?资源管控JMR（混部资源管理）协调混部资源调度，结合单机弹性实现资源动态伸缩。强资源隔离保障在线业务TP99三.落地实践-（1）混部架构

统?资源管理K8S统?管理资源计算服务容器化改造混部调度器（JMR）协调K8S资源分配和NM弹性伸缩单机弹性安全?位离线最?最?配额（min，max），动态调整定制化驱逐策略：容器类型、优先级、启动时间、资源容量运维优化YARNOperator管理NMpod?命周期基于Token?案实现NM节点注册验证资源隔离联合K8S团队实现CPU隔离、?络QoS，保障在线业务TP99改造HADOOP底层，?持基于任务等级、流量类型等多种?式设置?络优先级离线配额安全?位三.落地实践-（1）混部关键技术

资源占?分布00:0000:1000:2000:3000:4000:5001:0001:1001:2001:3001:4001:5002:0002:1002:2002:3002:4002:5003:0003:1003:2503:4003:5004:0504:1504:2504:3504:4504:5505:0505:1505:2505:3505:4505:5506:0506:1506:2506:3506:4506:5507:0507:1507:2507:3507:4507:5508:0508:1508:2508:3508:4508:55 资源?位线 资源使?量利?云原?架构实现峰值资源按需购买，购买资源每?占?时?不超过4?时资源?位线以上计算资源可以分批腾退，降低?数据平台机器成本时序预测数据?缘任务诊断动态规划问题：资源占?分布不均衡，?部分离线资源?时间闲置?标：利?弹性伸缩能?，峰值资源按需向云平台购买，减少离线计算常驻资源量挑战：?规模、复杂作业链路，超百万任务，资源预测困难运?时间任务优先级?志解析链路图谱任务解析时序预测……资源预测时?预测时序编排任务托管……资源监测读写监测资源调度基于作业分级，结合资源预测、数据?缘、作业性能诊断等能?，智能动态向云平台按需购买资源，降低离线机房常驻资源需求技术内核 智能编排引擎 收益总体资源量云平台资源借?三.落地实践-（1）混部资源动态规划

机房A只读standbyDN块异步传输3机房6副本跨域流控BLKDNBLK只读standbyDNBLKDNBLK机房BDNBLKDNBLKstandbyDNBLKDNBLKDNBLKDNBLKActive机房感知机房C只读stand