腾讯大数据当大数据遇到云原生-腾讯大数据云原生化的思考与实践22页.pdfVIP

腾讯大数据

当大数据遇见云原生

腾讯大数据云原生化的思考与实践

胡子千

腾讯大数据高级工程师

腾讯大数据

自我介绍

胡子千

腾讯大数据高级工程师，云原生大数据平台负责人。毕业

于北京大学计算机系，曾任职于蚂蚁金服、阿里云等公司，

在大数据计算、大规模集群调度、云原生方面有丰富经验。

腾讯大数据

目录

•云原生大数据的机遇与挑战

•腾讯云原生大数据架构

•腾讯大数据与云原生成熟度标准

•腾讯大数据与开源

腾讯大数据

目录

•云原生大数据的机遇与挑战

•腾讯云原生大数据架构

•腾讯大数据与云原生成熟度标准

•腾讯大数据与开源

腾讯大数据

云原生与大数据

云原生是什么云原生能给大数据带来什么

成本

•按需创建•自动化部署，

•弹性伸缩降低运维成本

•存储计算解耦•统一技术栈，

•在离线混部降低技术成本

•统一资源池

效率

!•快速发布（工业化交付）•计算提速

•智能调度•秒级伸缩

•监控、日志等全链配套•屏蔽底层差异

可用性技术和生态

•节点自动容灾•标准化能力

•集群、应用自动扩缩•生态复用

•更完善的隔离能力•Novendorlock-in

•健康检查•ABC融合

Devops+持续交付+微服务+容器•资源统一

腾讯大数据

云原生大数据的挑战

在线应用特点大数据应用特点

运行时间长，调度吞吐要求低运行时间短，任务吞吐高

现资源划分相对静态业务间资源弹性需求高

状

在线业务延迟敏感在满足任务SL