阿里海量规模大数据计算引擎SRE体系建设.pdf

阿里海量规模大数据计算引擎 SRE体系建设 付田原（君申） 高级运维专家 个人简介 付田原（君申） 高级运维专家 本人就职于阿里云智能计算平台事业部大数据基础工程技术团 队，任职高级运维专家；作为团队负责人带领SRE团队负责 Maxcompute/ Dataworks/PAI的整体运维工作，包括稳定性 体系建设、资源成本管理、运维效能提升和运维产品化智能化 探索和建设等。 DevOps 国际峰会 2 0 2 1 · 北 京 站 01 大 数 据 S R E 现 状 浅 谈 02 大 数 据 S R E 实 践 - 稳 定 性 能 力 建 设 03 大 数 据 S R E 实 践 - 海 量 资 源 管 理 目录 04 大 数 据 S R E 实 践 - 智 能 化 与 产 品 化 05 S R E 思 考 与 展 望 C O N T E N T S DevOps 国际峰会 2 0 2 1 · 北 京 站 01 大数据SRE现状浅谈 01 谈论运维时我们在谈什么？ HostOps DataOps AIOps NoOps 脚本/工单 数仓/流程 算法/平台 云/产品 复杂混乱是常态 减熵 + 提效 DevOps 国际峰会 2 0 2 1 · 北 京 站 01 谈论SRE时我们在谈什么？ 稳定性 成本 以SLA和故障演练作为核心驱动 以数据化和可量化的方式拆解成本 定义和提高产品服务能力 助力产品在营收成本等硬指标拿结果 效率 以平台化和产品化为最关键建设方向 将运维能力构建成产品核心竞争力 DevOps 国际峰会 2 0 2 1 · 北 京 站 01 大数据SRE面临的挑战 高复杂度系统 海量机器规模 典型的分布式系统 ，且大多数为多集群架构，包括控制层和 生产级大数据系统通常拥有海量规模机器支撑业务 ，是典型 计算层