SinaJPool-微博平台自动化运维实践.pptx

Sina  JPool   微博平台自动化运维实践   目录    CONTENT   1   2   3   4   微博平台业务背景   Sina  Dispatch的架构设计   Sina  Jpool综合运维平台   Docker在平台的应用   1.微博平台业务背景   业务量     日志：百T+   RPC：万亿+   接口：600亿+   运维     Docker：53%   扩容：5min   变更：15次/w     系统     设备：3000+   集群：200+   业务模块：50+       强大的运维工具平台   KPI     SLA：99.99%   RT：150ms   故障分：2/季                                                                 用户     用户：8亿   DAU：8千万   MAU：1.75亿   2.纵观自动化运维发展概况   阶段4   ！ 云计算智能运维   运维服务化   阶段2   综合运维平台   智能化运维   原始阶段   运维标准化   变更脚本化   工具Web化   自动化运维发展概况   目录    CONTENT   1   微博平台业务背景   Sina  Dispatch的架构设计   Sina  Jpool综合运维平台   Docker在平台的应用   1   2   3   4   1.Sina  Dispatch介绍   l 什么是Sina  Dispatch?   u  通用化的Shell调度与任务调度   u  2012年新浪内部自研   u  基于C++及Cwinux通信架构库开发   u  主要组件：dispatch，agent，MySQL   u  消息协议：PB(ProtoBuf)     l Dispatch主要特性   u  丰富的API：控制操作接口化   u  高可用：Master-Slave部署方式   u  高性能：支持万台服务器的并发调度   u  安全性强：MD5值校验，特殊字符过滤   2.Dispatch  调度设计   l Shell调度   u  变量：内置Shell变量  +  自定义变量   u  安全：MD5值签名，密码保护   u  策略：可设置超时时间   u  其他：同时并发执行，输出实时回显   l 任务调度   u  变量：内置任务变量  +  自定义变量   u  安全：MD5值签名，签名错误拒绝执行   u  策略：并发数控制，最大比例控制，超时控制   u  输出：stdout  ,  stderr实时回显   u  脚本：支持Shell，Python，PHP等脚本语言   u  状态：执行中，超时，失败，完成   u  操作：启动，暂停，取消，重做，完成，回滚     获取shell指令定义   接收消息     发送任务   指令     接收消息     发送 shell     更新任务执行态   获取新任务   主线程   任务处理线程   agent   与agent连接的通信协议层及通信线程   服务器集群   agent   agent   dispatch   通知master变化   admin线程   配置数据库   3.Dispatch  架构   指令流：   主线程   agent上报   Shell调度   任务调度   接收   shell   shell   结果   Shell调度   任务调度   主动连接   接收   任务   任务   结果   push   shell   轮询   结果   Exec   任务   Exec   任务   shell   Exec   dispatch   4.Agent  架构   指令流：   agent上报   Shell调度   任务调度   slave