黄泳：全链路监控在嘉银科技的落地实践-35页.docx

全链路监控告警在嘉银科技的落地实践

分享人:黄泳

黄泳

上海嘉银科技SRE负责人

全面负责嘉银科技的SRE部门工作

全面负责嘉银科技的SRE部门工作

?主导嘉银科技的AIOPS全链路可观测

?灰度发布CICD工具流程设计

?CMDBITSM产品架构设计

?智能运维平台开发建设

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

目录

目录

02嘉银告警管理

03嘉银智能可观测实践

04未来展望

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

01嘉银监控架构设计

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

嘉银科技基础设施概览

6000+

虚拟机

3000+

Pod数量

1100+

物理服务器

2000+

微服务

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

嘉银复杂业务下的监控告警挑战

多地域多环境

多地域多环境

监控工具压力较大数据规模庞大监控告警的滞后性

监控工具压力较大

数据规模庞大

监控告警的滞后性

指标管理难度大,先行告警风暴控制容量增长无法预测先知,先决

指标管理难度大

,先行

告警风暴控制

容量增长无法预测

先知,先决

低效告警太多故障根因定位困难故障处理时效长

低效告警太多

故障根因定位困难

故障处理时效长

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

嘉银智能监控发展历程

大模型应用海量告警数据管理

大模型应用

积极探索大模型生态在智能化运维的实

引入CMDB数据仓，对监控告警资源识别

引入CMDB数据仓，对监控告警资源识别

告警数据清洗、降噪监控订阅，阈值调整研发自助式服务

告警数据清洗、降噪

监控订阅，阈值调整研发自助式服务

进一步丰富知识库和优化故障诊断系统2022

2024

2023

智能监控告警实践2021

智能监控告警实践

2021

监控告警平台建设指标中心建设

监控告警平台建设

多场景的智能巡检建设

全面进入Prometheus时代故障自愈部分场景落地

全面进入Prometheus时代

建设统一监控告警平台引入知识库和故障诊断系统，根因分析并给出解决方案

建设统一监控告警平台

接入skywalking，

接入skywalking，日志，公有云等数据源

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

基于VictoriaMetrics的Prometheus集群架构

Prometheus

Prometheus

东南亚

Prometheus

Prometheus

非洲

Prometheus

Prometheus

北美

ConsulCluster

ConsulCluster

ConsulCluster

A机房

Prometheus

PrometheusNode1

B机房

Prometheus

PrometheusNode2

公有云

Prometheus

PrometheusNode3

VictoriaMetrics

VictoriaMetrics

VictoriaMetrics

VmalertVmalert

Vmalert

Vmalert

Alertmanager

Alertmanager

Alertmanager

Alertmanager

Kylin

LB

LB

GrafanaAPI

Grafana

API

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

02嘉银告警管理

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

嘉银监控告警流程

监控告警全生命周期管理

监控告警全生命周期管理

监控数据源Kylin告警事件加工二郎神告警策略

监控数据源

Kylin告警事件加工

二郎神告警策略

告警处理

CMDB告警丰富Prometheus告警数据加工清洗故障告警分派

CMDB告警丰富

Prometheus

告警数据加工清洗

故障

告警分派

监控工具

skywalking

skywalking

对象识别分派策略告警过滤企业微信故障

对象识别

分派策略

告警过滤

企业微信

故障UIOC

告警渠道