虎牙直播AIOps探索与实践.pdf

虎牙直播AIOps探索与实践 郑健彦 AIOps高级研发工程师 个人简介 郑健彦 AIOps高级研发工程师 2017年华南理工大学硕士毕业后，加入联想数据中心部门负责 故障预测等工作。2019年加入虎牙直播，在质量，效率和成本 三个方面落地AIOps ，涉及异常检测，多维度根因定位，时序 预测，智能弹性和大数据算力调度等相关工作。 DevOps 国际峰会 2 0 2 1 · 北 京 站 虎牙 发布直播数字人和小程序开放平台 虎牙一直践行“技术驱动内容” ， 4K超分、AI打点实时回放功能上线 在实时内容创作与直播互动技术上持续创新，为业务赋能 推出虚实同台互动直播 云游戏平台YOWA上线 DevOps 国际峰会 2 0 2 1 · 北 京 站 01 业 务 背 景 02 基 于 时 序 预 测 的 弹 性 伸 缩 03 基 于 容 量 模 型 的 赛 事 弹 性 处 理 目录 04 直 播 卡 顿 多 维 下 钻 分 析 C O N T E N T S DevOps 国际峰会 2 0 2 1 · 北 京 站 01 业务背景 01 业务背景 • 在直播场景下，流量呈单峰结构 • （游戏直播界的双十一）赛事期间质量抖动 系统容量 资源 使用量 时间 区域为算力冗余 DevOps 国际峰会 2 0 2 1 · 北 京 站 02 基于时序预测的弹性伸缩 02 基于时序预测的弹性伸缩（AI-HPA ） 为什么需要预测？ 标准的 HPA 是基于指标阈值进行伸缩的，常见的指标主要是 CPU、内存。 但是基于资源的伸缩存在一定的时延，这个时延主要包含：采集时延 + 判断时延+ 伸缩时延。 当负载的峰值毛刺非常尖锐时，可能会由于 HPA 的时延造成副本数目无法及时变化，短时间 内应用的整体负载飙高，响应时间变慢。 DevOps 国际峰会 2 0 2 1 · 北 京 站 02 基于时序预测的弹性伸缩（AI-HPA ） 总体架构 AI HPA定时伸缩配置 DevOps 国际峰会 2 0 2 1 · 北 京 站 02 基于时序预测的弹性伸缩（AI-HPA ）