腾讯DevOps自动化运维平台（23页 PPT）.ppt

腾讯DevOps自动化运维平台

企业规模成本行业趋势运维使命添加标题人与程序添加标题30亿/年添加标题解放双手添加标题拯救世界添加标题云计算添加标题devops10w机器100人为什么要自动化CONTENTS

为什么要DevOpsDevOps是一种文化DevOps是合伙人制DevOps依托于系统实现DevOpsiseverywhere流程导向规范服务于开发对内价值实现技术导向敏捷与开发合作对外价值实现DevOps使运维和开发共同以实现业务价值为目的，打破传统流程与角色分工，协作实现对用户价值最大化的输出。ITILDevOps

平台简介传承：运维经验平台标准：通用流程和工具集协作：开发、测试、运维共同参与掌控：一致性，变更体检灵活：扩展性强，用户参与成本：实体机+虚拟化智能：数据决策传承标准协作掌控灵活成本智能运维规范资源配置标准流程生产环境标准化CMDB流程系统

运营现状2亿50个12740个161679个1511次9132次800个

架构实践门户流程系统命令通道生产环境一致性监控CMDB权限系统文件中心包系统测试工具设备调度路由系统变更通知中心决策系统包配置脚本工具库标准化实践CMDB设计流程系统决策系统测试灰度实战分享模块权限一致性

标准化与自动化标准化自动化

分层标准化对象网络资源层设备资源层系统资源层接入层业务层逻辑层数据层机型命名运营状态重要级别监控Buff池机房机柜网段规划容灾波分监控……OS/内核初始化用户/密码管理基础agent组件选型监控容量包管理配置管理测试工具架构分布容灾监控

可运维规范事件管理监控标准化可运维规范软件标准化硬件/网络标准化统一基础网络统一域名解析统一机房标准统一内核/OS统一机型标准状态流转机制集群化管理主备责任人标准包管理进程端口管理标准化架构层统一服务响应级别标准组件服务标准配置文件管理标准log级别标准初始化设置单服务集群管理无脚本发布无单点服务新架构评估变更周知灰度原则平台服务SET化名字服务覆盖度自动化测试模块间调用组件监控容量监控基础监控质量运营统计可用性统计事件单管理故障定级标准值班经理制度大范围事件管理运营商故障升级流程重大事故处理流程

CMDB：标准化的落地网络资源层设备资源层系统资源层接入层业务层逻辑层数据层业务运维组件运维系统运维网络运维硬件OS/内核应用/程序组件/配置外部接口系统初始化业务模块信息包系统配置发布中心文件源权限中心名字服务CMDB业务视图架构/分布业务指标容灾调度访问关系工具执行流程系统灰度系统角色分层对象系统存储

统一管理节点模块资产配置硬件配置软件配置运营配置分布信息资源配置权限配置流程配置测试用例变更记录应用基础

多角色协作平台模块部署依赖资源运维/开发维护开发/测试维护

流程配置数据类型工具配置流程步骤rabbitMQAPIworkerworkerworkermonitormysqllog工具库流程系统架构

一键扩容案例申请设备获取资源发布部署业务测试发布自检灰度上线自动执行流程1.获取参数列表2.屏蔽负载事件通知3.查询设备调度接口4.根据模块ID查域名5.获取资源配置6.申请权限接口7.获取设备IP地址8.屏蔽告警9.安装程序包10.同步文件11.获取CC参数12.发配置13.执行脚本14.主调扩容15.启动软件包16.进程端口扫描17.上报变更日志18.查询授权结果19.自动化测试20.VIP添加RS21.L5被调扩容22.告警屏蔽解除23.开启负载事件通知

一键扩容

数据对比触发流程自动修正动态拓扑一致性上报现网数据配置数据UserApplicationKernelSystemCallUniqAgentinotifysososo动态拓扑秒级监控自动修复一致性掌控

事件策略执行流程决策系统决策API容量系统需求突发高负载预测高负载低负载30天策略树流程系统白名单通知中心请求调平决策树（高负载）平均负载设备总数高负载设备数最高负载高负载阀值路由一致上线时间决策树（低负载）平均负载设备总数持续天数路由一致最低负载workerworkerworkerrabbitMQL5cmlbtgw

申请设备获取资源发布部署业务测试发布自检灰度上线自动扩容流程调度策略调度决策通知中心容量监控资源初始化扩容演习无人守值自动部署

测试与灰度申请设备获取资源发布部署业务测试发布自检灰度上线自动扩容流程与运营中设备的一致性对比进程端口自检质量部ATTQTA协议级自动化测试连通性的工具测试

负载均衡组件灰度系统成功率上报权重调节扩容设备10%10%成功率判断策略大于平均成功率-5%扩容核数/最小核数*最小请求数50%X100%业务请求测试与灰度

自动化实战案例自动扩容会被调度决策执行7x24自动化支持当突发流量到来时…

运维自动化要诀DevOps文化目标