火山引擎云原生大数据企业智能新基石15页.pdfVIP

云原生大数据——

企业智能新基石

王磊

火山引擎云原生计算资深产品专家

目录/CONTENTS

1云原生大数据使用运维方式的变化

2字节跳动云原生大数据平台架构分享

3新架构下用户场景和价值

4最佳实践：业务诉求与实践收益

（一）云原生大数据带来大数据使用和运维方式变化

传统模式云原生模式

业务1业务2业务3业务4业务1业务2业务3业务4n

资源独占，峰值不满足，平时有空闲资源按需调用，资源池统一调度

统一Portal

Flink集群Spark集群ES集群Kafka集群

集群搭建耗时耗力，运维孤岛和数据孤岛

运维1运维1运维1

一键开通，按需部署，统一运维

数据管理数据管理数据管理

云原生大数据组件管理和发布

运维管理运维管理运维管理

节点节点节点

云原生大数据是大数据平台新一代架构和运行形态。

是一种以平台云原生化部署，计算云原生调度，存储统一负载为特点，可以支持多种计算负载，计算调度更弹性，

存储效能更高的大数据处理和分析平台。

云原生大数据架构升级遇到的挑战

◼如何实现基于K8s的多租户管控，资源隔离如何像YARN的队列机制那样管理？

◼如何能够让Kube-Schedule的调度能力升级，从性能和功能上满足千万级大数据作业的调度能力？

◼已有的传统Hadoop大数据作业如何迁移到云原生大数据平台？

（二）云原生大数据功能架构图（3大平台1大支撑体系）

插件化计算引擎是多场景集成的关键

运维管理

元数据管理数据源管理数据网关服务作业开发任务调度•计算引擎可插拔化设计，灵活配置选用

开放平台集群管理•开源组件插件化集成设计

项目管理租户和用户权限管理生态整合服务

管理统一计算资源调度

组件管理•跨云资源配额管理，跨域业务高可用

•计算负载统一调度，在离线混部

日志审计

云原生Flink云原生Spark云原生消息引擎实时服务分析引擎云原生日志有哪些信誉好的足球投注网站•兼容YARN资源负载，

引擎平台监控报警平滑迁移Hadoop负载

统一存储（CloudFS）

兼容HDFS语义TOS透明加速缓存加速数据湖管