Passer au contenu principal

​
Introduction

ClickPipes est une plateforme d’intégration gérée qui simplifie l’ingestion de données depuis un large éventail de sources au point de se faire en quelques clics. Conçue pour les charges de travail les plus exigeantes, l’architecture robuste et évolutive de ClickPipes garantit des performances et une fiabilité constantes. ClickPipes peut être utilisé pour des besoins de streaming à long terme ou pour une tâche ponctuelle de chargement de données. ClickPipes peut être déployé et géré manuellement via la ClickPipes UI, ainsi que par programmation à l’aide d’OpenAPI et de Terraform.

​
Sources de données prises en charge

D’autres connecteurs seront ajoutés à ClickPipes ; vous pouvez en savoir plus en nous contactant.

​
Liste des IP statiques

Les tableaux ci-dessous répertorient les adresses IP NAT statiques que ClickPipes utilise pour se connecter à vos services externes. Ajoutez les IP de la région ClickPipes qui dessert votre service ClickHouse Cloud à votre liste d’autorisation d’IP. Dans le cas des pipes de stockage d’objets, vous devez également ajouter les IP du cluster ClickHouse à votre liste d’autorisation d’IP. Les services situés dans les régions Google Cloud répertoriées dans le tableau Google Cloud ci-dessous utilisent ces IP Google Cloud uniquement s’ils ne comportaient pas déjà de ClickPipes avant le 15 juin 2026. Les services de ces régions qui disposaient déjà de ClickPipes avant le 15 juin 2026 continuent d’utiliser les IP régionales par défaut répertoriées ci-dessous. Pour les autres services, le trafic ClickPipes proviendra d’une région par défaut en fonction de l’emplacement de votre service :
  • eu-central-1 : Pour toutes les régions de l’UE non explicitement répertoriées, ainsi que pour les régions Azure de l’UE et les services Google Cloud avec des ClickPipes préexistants avant le 15 juin 2026.
  • eu-west-1 : Pour tous les services sur AWS eu-west-1 créés à compter du 20 janv. 2026 (les services créés avant cette date utilisent les adresses IP eu-central-1).
  • us-east-1 : Pour tous les services sur AWS us-east-1.
  • ap-south-1 : Pour les services sur AWS ap-south-1 créés à compter du 25 juin 2025 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • ap-northeast-2 : Pour les services sur AWS ap-northeast-2 créés à compter du 14 nov. 2025 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • af-south-1 : Pour les services sur AWS af-south-1 créés à compter du 15 avr. 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • ap-east-1 : Pour les services sur AWS ap-east-1 créés à compter du 15 avr. 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • ap-northeast-1 : Pour les services sur AWS ap-northeast-1 créés à compter du 15 avr. 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • ap-southeast-1 : Pour les services sur AWS ap-southeast-1 créés à compter du 18 mars 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • ap-southeast-2 : Pour les services sur AWS ap-southeast-2 créés à compter du 25 juin 2025 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • ap-southeast-3 : Pour les services sur AWS ap-southeast-3 créés à compter du 6 mars 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • ca-central-1 : Pour les services sur AWS ca-central-1 créés à compter du 15 avr. 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • eu-north-1 : Pour les services sur AWS eu-north-1 créés à compter du 15 avr. 2026 (les services créés avant cette date utilisent les adresses IP eu-central-1).
  • eu-west-2 : Pour les services sur AWS eu-west-2 créés à compter du 15 avr. 2026 (les services créés avant cette date utilisent les adresses IP eu-central-1).
  • il-central-1 : Pour les services sur AWS il-central-1 créés à compter du 15 avr. 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • mx-central-1 : Pour les services sur AWS mx-central-1 créés à compter du 19 mai 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • sa-east-1 : Pour les services sur AWS sa-east-1 créés à compter du 15 avr. 2026 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • us-west-2 : Pour les services sur AWS us-west-2 créés à compter du 24 juin 2025 (les services créés avant cette date utilisent les adresses IP us-east-2).
  • us-east-2 : Pour toutes les autres régions ne correspondant à aucune des règles ci-dessus, y compris les régions Azure et les services Google Cloud avec des ClickPipes préexistants avant le 15 juin 2026.

​
Adresses IP NAT statiques sur AWS

​
Adresses IP NAT statiques Google Cloud

​
Ajuster les paramètres ClickHouse

ClickHouse Cloud fournit des valeurs par défaut adaptées à la plupart des cas d’usage. Toutefois, si vous devez ajuster certains paramètres ClickHouse pour les tables de destination de ClickPipes, un rôle dédié à ClickPipes est la solution la plus souple. Étapes :
  1. créez un rôle personnalisé CREATE ROLE my_clickpipes_role SETTINGS .... Consultez la syntaxe de CREATE ROLE pour plus de détails.
  2. ajoutez le rôle personnalisé à l’utilisateur ClickPipes à l’étape Details and Settings lors de la création de ClickPipes.

​
Ajuster les paramètres avancés de ClickPipes

ClickPipes propose des paramètres par défaut adaptés à la plupart des cas d’utilisation. Si le vôtre nécessite un réglage plus fin, vous pouvez ajuster les paramètres suivants :

​
stockage d’objets ClickPipes

​
ClickPipes de streaming

​
Rapport d’erreurs

ClickPipes stocke les erreurs dans deux tables distinctes selon le type d’erreur rencontré lors du processus d’ingestion.

​
Enregistrement des erreurs

ClickPipes créera une table à côté de votre table de destination avec le suffixe <destination_table_name>_clickpipes_error. Cette table contiendra toutes les erreurs liées à des données mal formées ou à un schéma incompatible, et inclura l’intégralité du message non valide. Cette table a une TTL de 7 jours.

​
Erreurs système

Les erreurs liées au fonctionnement de ClickPipe sont stockées dans la table system.clickpipes_log. Cette table stocke toutes les autres erreurs liées au fonctionnement de votre ClickPipe (réseau, connectivité, etc.). Cette table a un TTL de 7 jours. Si ClickPipes ne parvient pas à se connecter à une source de données après 15 min ou à une destination après 1 h, l’instance ClickPipes s’arrête et enregistre un message approprié dans la table des erreurs système (à condition que l’instance ClickHouse soit disponible).

​
Monitoring

En plus du monitoring dans la console, ClickPipes expose des métriques via un endpoint compatible Prometheus pour le scraping. Ces métriques sont publiées avec les autres métriques du service ClickHouse Cloud et vous permettent d’intégrer le monitoring de ClickPipes à votre stack d’observability existante (par exemple, Grafana, Datadog). Consultez Monitoring ClickPipes pour obtenir la liste complète des métriques disponibles.

​
FAQ

  • Qu’est-ce que ClickPipes ? ClickPipes est une fonctionnalité de ClickHouse Cloud qui facilite la connexion de vos services ClickHouse à des sources de données externes, en particulier Kafka. Avec ClickPipes for Kafka, vous pouvez charger en continu des données dans ClickHouse et les rendre disponibles pour des analyses en temps réel.
  • ClickPipes prend-il en charge la transformation des données ? Oui, ClickPipes prend en charge des transformations de données basiques en exposant le DDL de création. Vous pouvez ensuite appliquer des transformations plus avancées aux données lors de leur chargement dans leur table de destination au sein d’un service ClickHouse Cloud, en vous appuyant sur la fonctionnalité de vues matérialisées de ClickHouse.
  • L’utilisation de ClickPipes entraîne-t-elle un coût supplémentaire ? ClickPipes est facturé selon deux dimensions : Ingested Data et Compute. Tous les détails de la tarification sont disponibles sur cette page. L’exécution de ClickPipes peut également générer un coût indirect de calcul et de stockage sur le service ClickHouse Cloud de destination, comme pour toute charge de travail d’ingestion.
  • Existe-t-il un moyen de gérer les erreurs ou les défaillances lors de l’utilisation de ClickPipes for Kafka ? Oui, ClickPipes for Kafka effectuera automatiquement de nouvelles tentatives en cas d’échec lors de la consommation de données depuis Kafka, pour tout problème opérationnel, notamment les problèmes de réseau, de connectivité, etc. En cas de données mal formées ou de schéma invalide, ClickPipes stockera l’enregistrement dans la table record_error et poursuivra le traitement.
Dernière modification le 25 juin 2026