Интеграция Managed Postgres с Prometheus

Собирайте метрики Managed Postgres в Prometheus, Grafana, Datadog или любой коллектор, совместимый с OpenMetrics

Managed Postgres предоставляет две конечные точки метрик, совместимые с Prometheus, в ClickHouse Cloud API:

Конечная точка	Путь	Возвращает
Организация	/v1/organizations/{orgId}/postgres/prometheus	Метрики для всех сервисов Managed Postgres в организации
Экземпляр	/v1/organizations/{orgId}/postgres/{pgId}/prometheus	Метрики для одного сервиса

Конечная точка на уровне организации возвращает метрики максимум для 100 сервисов. Если в вашей организации более 100 сервисов Managed Postgres, обратитесь в поддержку.

​

Аутентификация

Эта конечная точка использует те же [ключи API], что и остальной OpenAPI; см. руководство по OpenAPI, чтобы узнать, как их создать и где посмотреть идентификаторы вашей организации и сервиса.

KEY_ID=mykeyid
KEY_SECRET=mykeysecret
ORG_ID=myorgid
PG_ID=mypgid

​

Сбор метрик со всех сервисов организации

curl -s --user "$KEY_ID:$KEY_SECRET" \
    "https://api.clickhouse.cloud/v1/organizations/$ORG_ID/postgres/prometheus"

​

Сбор метрик с одного сервиса

curl -s --user "$KEY_ID:$KEY_SECRET" \
    "https://api.clickhouse.cloud/v1/organizations/$ORG_ID/postgres/$PG_ID/prometheus"

​

Пример ответа

# HELP PostgresServiceInfo Информация о сервисе PostgreSQL, включая статус и версию.
# TYPE PostgresServiceInfo gauge
PostgresServiceInfo{clickhouse_org="ca04a310-730d-4ce0-93dd-39f2cd2d5e6f",postgres_service="0c330583-6396-86d0-82cd-ed0f23b0d38c",postgres_service_name="my-postgres",postgres_status="running",postgres_version="18"} 1

# HELP PostgresServer_ActiveConnections Количество активных подключений по состоянию.
# TYPE PostgresServer_ActiveConnections gauge
PostgresServer_ActiveConnections{clickhouse_org="ca04a310-730d-4ce0-93dd-39f2cd2d5e6f",postgres_service="0c330583-6396-86d0-82cd-ed0f23b0d38c",postgres_service_name="my-postgres",state="active"} 1
PostgresServer_ActiveConnections{clickhouse_org="ca04a310-730d-4ce0-93dd-39f2cd2d5e6f",postgres_service="0c330583-6396-86d0-82cd-ed0f23b0d38c",postgres_service_name="my-postgres",state="idle"} 4

# HELP PostgresServer_CacheHitRatio Коэффициент попаданий в буферный кэш: блоки, обслуженные из кэша, по отношению к общему числу запрошенных блоков (%).
# TYPE PostgresServer_CacheHitRatio gauge
PostgresServer_CacheHitRatio{clickhouse_org="ca04a310-730d-4ce0-93dd-39f2cd2d5e6f",postgres_service="0c330583-6396-86d0-82cd-ed0f23b0d38c",postgres_service_name="my-postgres"} 100

Полный список метрик и их значений см. в справочнике по метрикам.

​

Настройка Prometheus

Эта конфигурация опрашивает конечную точку на уровне организации каждые 60 секунд:

scrape_configs:
  - job_name: "managed-postgres"
    scheme: https
    metrics_path: "/v1/organizations/<ORG_ID>/postgres/prometheus"
    static_configs:
      - targets: ["api.clickhouse.cloud"]
    basic_auth:
      username: <KEY_ID>
      password: <KEY_SECRET>
    honor_labels: true
    scrape_interval: 60s

Конечная точка обновляет метрики раз в минуту. Опрос чаще, чем 60s, дублирует сэмплы и приводит к ступенчатому графику на панелях Gauge.

Установите honor_labels: true, чтобы метки postgres_service и postgres_service_name из конечной точки сохранялись, а не перезаписывались Prometheus.

Чтобы собирать метрики только для одного сервиса, добавьте /<PG_ID> к metrics_path.

​

Готовая панель мониторинга Grafana

Готовая панель мониторинга Grafana визуализирует все метрики, доступные через конечную точку: сортируемую таблицу сервисов, загрузку CPU и памяти, использование диска с оповещениями о превышении пороговых значений, подключения по состоянию, транзакции и долю откатов, активность кортежей, I/O, хранилище по отдельным базам данных и взаимные блокировки.

​

Импорт панели мониторинга

1. ​

   Скачайте JSON панели мониторинга

   .

2. ​

   Откройте импорт в Grafana

   Перейдите в Dashboards → New → Import. Загрузите JSON‑файл или вставьте его содержимое.

3. ​

   Выберите источник данных Prometheus

   Когда появится запрос для DS_PROMETHEUS, выберите источник данных Prometheus, который собирает метрики с конечной точки, настроенной в предыдущем разделе.

Для развертываний Grafana с provisioning поместите JSON в каталог provisioning для панелей мониторинга. Grafana сопоставит ссылку ${DS_PROMETHEUS} с источником данных Prometheus, доступным в экземпляре.

​

Переменные шаблона

Панель мониторинга использует три переменные:

• Источник данных — источник данных Prometheus, на котором основана панель мониторинга.
• Сервис — фильтр с возможностью множественного выбора по postgres_service_name. По умолчанию выбрано All; выберите один или несколько сервисов, чтобы применить их ко всем панелям.
• Интервал опроса — скрытая константа, по умолчанию 60s. Определяет вычисление $__rate_interval в Grafana. Измените это значение в JSON, если у вас используется другой интервал опроса.

​

Отфильтруйте данные по одному сервису для детального анализа

Несколько панелей предназначены для детального анализа после фильтрации по одному сервису с помощью переменной Service. Например, на панели CPU by mode в стек складываются user, system, iowait, steal и другие режимы CPU, чтобы вы могли понять, связан ли всплеск с работой прикладного кода, ядра, ожиданием диска или конкуренцией за ресурсы гипервизора.

​

Интеграция с Grafana и Datadog

Эта конечная точка имеет ту же структуру, что и конечная точка Prometheus для ClickHouse , поэтому описанные там конфигурации Grafana Cloud, Grafana Alloy и агента OpenMetrics для Datadog применимы и здесь. Укажите в metrics_path путь организации или экземпляра Managed Postgres вместо пути ClickHouse.