2024PostgreSQL集群监控系统.docx

PostgreSQL集群监控系统

概述

监控系统是智能化管理与自动化运维的基石，可以为资源规划，故障排查，性能优化提供至关重要的数据支持。

PostgreSQL是世界上最先进的开源关系型数据库，但在其生态中缺少一个“足够好用”的开源监控系统。

Pigsty旨在弥补这一缺憾，这是一个基于开源生态自研的

监控系统，专为大规模PostgreSQL集群监控管理而设计，指标丰富程度与覆盖率一骑绝尘，在实际生产环境中久经考验，并提供试用的开源版本与可选的商业支持。

目录

目录

CONTENTS

1 需求与候选

1

需求与候选

2概览3指标覆盖4集群监控5演示与说明

2

概览

3

指标覆盖

4

集群监控

5

演示与说明

1

需求与痛点

针对PostgreSQL的监控系统，而非通用DB监控的大路货色

指标全面详实充分反映系统状态，而非以简单指标+OS指标凑数针对大规模集群管理，而非仅关注单个实例

使用通用开源监控基础设施，可与其他监控集成，不绑定供应商。自动适配集群扩缩容与高可用切换，无需人工维护干预。

候选产品

名称

公司

模式

技术栈

指标

\hpgwatch

CyberTech

免费+收费

InfluxDB,Grafana

只有基本指标

\hpgmonitor

CrunchyData

免费

Prometheus,Grafana

不错，指标覆盖中等

\hdatadog

Datadog

收费

DataDog

美观，集成度高，基本指标

\hpgDash

RapidLoop

收费

专有

美观，指标简单

\hClusterControl

CyberTech

收费

专有+Grafana

美观，集成部署方案，指标简单

\hpganalyze

Duboce

收费

专有

兼有日志与慢查分析，指标简单

\hAliyunRDS

Alibaba

云

Unknown

基本指标

\hAWSRDS

Amazon

云

Unknown

指标比较丰富

\hAzureRDS

Microsoft

云

Unknown

基本指标

其他产品：PgAdmin4,PGCluu等不再列出

指标不够丰富，大多只有标准指标

缺少集群监控，大多只有单实例监控

SometimesNaive

pgmonitor

CrunchyData出品，基于Grafana与Prometheus，可复用监控基础设施，便于与其他系统集成，开源免费完成度不错，覆盖常用指标，有告警配置，仅针对单实例使用

/documentation/pgmonitor/latest/

pgwatch

cybertech

收费，但有免费版本

pgdash

收费，界面做的不错只能针对单个实例指标覆盖率一般

pganalyze

PublicDemo: /databases/6

界面美观清晰，有一个不错的日志浏览器与可视化的慢查询Explain工具

但是只能针对单实例使用，指标丰度一般，且收费

云厂商

AWSRDS

AliyunRDS

云厂商RDS的

监控指标

没有合适的怎么办？自己造！

针对大规模集群设计(100+实例)

指标全面覆盖（约700类,每实例3000+）

多层次洞察：全局，分片，集群，服务，实例等基于Grafana,Prometheus，便于集成无绑定自动适配集群/实例新增、下线、切换

长时间的生产环境验证

Demo:\h

2 概览

Pigsty针对大规模数据库集群监控与管理而设计，提供简单便利的高可用数据库供给方案与一流的图形化监控管理界面。

PostgresInGraphicSTYle

ProjectRepo:\h/Vonng/pigstyPublicDemo:\h

概览-UI

Pigsty的UI基于Grafana开发

可惜这里太小，画不下 ……

概览-架构

Pigsty基于

自研pg_exporter收集数据库与连接池指标（开源）

开源Prometheus收集时序数据指标（定制大量引申指标）

开源Grafana展示监控信息（深度定制的几十个看板，几千个面板）开源Consul/etcd配置自动服务发现（可选）

基于业界监控最佳实践，完全基于开源组件定制开发

拒绝绑定供应商，便于集成其他监控系统，实现应用全链路监控。

概览-模型

Pigsty的监控模型围绕以下5个层次进行组织：

概览（Overview）（包含全局概览与分片概览，主题为多个集群之间的指标横向对比）

集群（Cluster）（集群信息汇总，包括成员，汇总，指标横向对比，各类主题面板）

服务（Service）（集群内的服务指标：主从、读写、流量、切换、路由，健康等）

实例（Instanc