Passer au contenu principal
Vous pouvez utiliser ClickPipes pour ingérer des données depuis votre base de données Postgres source vers ClickHouse Cloud. La base de données Postgres source peut être hébergée sur site ou dans le cloud, notamment sur Amazon RDS, Google Cloud SQL, Azure Database for Postgres, Supabase et d’autres services. Les ClickPipes Postgres peuvent être déployés et gérés manuellement via la ClickPipes UI, ainsi que de manière programmatique à l’aide d’OpenAPI et de Terraform.

​
Prérequis

Pour commencer, assurez-vous d’abord que votre base de données Postgres est correctement configurée. Selon votre instance Postgres source, vous pouvez suivre l’un des guides suivants :
  1. Amazon RDS Postgres
  2. Amazon Aurora Postgres
  3. Supabase Postgres
  4. Google Cloud SQL Postgres
  5. Azure Flexible Server for Postgres
  6. Neon Postgres
  7. Crunchy Bridge Postgres
  8. Source Postgres générique, si vous utilisez un autre fournisseur Postgres ou une instance autohébergée.
  9. TimescaleDB, si vous utilisez l’extension TimescaleDB sur un service géré ou une instance autohébergée.
Les proxys Postgres comme PgBouncer, RDS Proxy, Supabase Pooler, etc. ne sont pas pris en charge pour la réplication basée sur CDC. Veillez à NE PAS les utiliser pour la configuration de ClickPipes et ajoutez plutôt les informations de connexion de la base de données Postgres elle-même.
Une fois votre base de données Postgres source configurée, vous pouvez poursuivre la création de votre ClickPipe.

​
Création de votre ClickPipe

Assurez-vous d’être connecté à votre compte ClickHouse Cloud. Si vous n’avez pas encore de compte, vous pouvez vous inscrire ici.
  1. Dans la console ClickHouse Cloud, accédez à votre service ClickHouse Cloud.
  1. Sélectionnez le bouton Data Sources dans le menu de gauche, puis cliquez sur « Set up a ClickPipe »
  1. Sélectionnez la vignette Postgres CDC

​
Ajout de la connexion à votre base de données source Postgres

  1. Renseignez les informations de connexion de votre base de données source Postgres que vous avez configurée à l’étape des prérequis.
Avant de commencer à ajouter vos informations de connexion, assurez-vous d’avoir autorisé les adresses IP de ClickPipes dans les règles de votre pare-feu. Vous trouverez la liste des adresses IP de ClickPipes ici. Pour plus d’informations, consultez les guides de configuration de la source Postgres dont les liens figurent en haut de cette page.
Vous pouvez utiliser AWS Private Link pour vous connecter à votre base de données source Postgres si elle est hébergée sur AWS. Cela est utile si vous souhaitez garder votre transfert de données privé. Vous pouvez suivre le guide de configuration pour établir la connexion.

​
(Facultatif) Configuration du tunnel SSH

Vous pouvez spécifier les informations du tunnel SSH si votre base de données source Postgres n’est pas accessible publiquement.
  1. Activez le bouton bascule “Utiliser le tunnel SSH”.
  2. Renseignez les informations de connexion SSH.
  3. Pour utiliser l’authentification par clé, cliquez sur “Révoquer et générer une paire de clés” afin de générer une nouvelle paire de clés, puis copiez la clé publique générée dans ~/.ssh/authorized_keys sur votre serveur SSH.
  4. Cliquez sur “Vérifier la connexion” pour la vérifier.
Assurez-vous d’autoriser les adresses IP de ClickPipes dans les règles de pare-feu de l’hôte bastion SSH afin que ClickPipes puisse établir le tunnel SSH.
Une fois les informations de connexion renseignées, cliquez sur “Suivant”.

​
Configuration des paramètres de réplication

  1. Assurez-vous de sélectionner le slot de réplication dans la liste déroulante créée à l’étape des prérequis.

​
Paramètres avancés

Vous pouvez configurer les paramètres avancés si nécessaire. Une brève description de chaque paramètre est fournie ci-dessous :
  • Intervalle de synchronisation : il s’agit de l’intervalle auquel ClickPipes interroge la base de données source pour détecter les changements. Cela a un impact sur le service ClickHouse de destination ; pour les utilisateurs attentifs aux coûts, nous recommandons de conserver une valeur élevée (supérieure à 3600).
  • Threads parallèles pour le chargement initial : il s’agit du nombre de workers parallèles utilisés pour récupérer l’instantané initial. Ce paramètre est utile si vous avez un grand nombre de tables et souhaitez contrôler le nombre de workers parallèles utilisés pour récupérer cet instantané. Ce paramètre s’applique à chaque table.
  • Taille du lot d’extraction : le nombre de lignes à récupérer en un seul lot. Il s’agit d’un paramètre appliqué dans la mesure du possible, qui peut ne pas être respecté dans tous les cas.
  • Nombre de lignes de l’instantané par partition : il s’agit du nombre de lignes récupérées dans chaque partition pendant l’instantané initial. Ce paramètre est utile si vos tables contiennent un grand nombre de lignes et que vous souhaitez contrôler le nombre de lignes récupérées dans chaque partition.
  • Nombre de tables de l’instantané en parallèle : il s’agit du nombre de tables récupérées en parallèle pendant l’instantané initial. Ce paramètre est utile si vous avez un grand nombre de tables et souhaitez contrôler le nombre de tables récupérées en parallèle.

​
Configuration des tables

  1. Ici, vous pouvez sélectionner la base de données de destination pour votre ClickPipe. Vous pouvez soit choisir une base de données existante, soit en créer une nouvelle.
  2. Vous pouvez sélectionner les tables que vous souhaitez répliquer depuis la base de données Postgres source. Lors de la sélection des tables, vous pouvez également choisir de renommer les tables dans la base de données ClickHouse de destination et d’exclure certaines colonnes.
Si vous définissez dans ClickHouse une clé d’ordonnancement différente de la clé primaire de Postgres, n’oubliez pas de consulter toutes les considérations à ce sujet

​
Vérifier les autorisations et démarrer le ClickPipe

  1. Sélectionnez le rôle « Accès complet » dans le menu déroulant des autorisations, puis cliquez sur « Terminer la configuration ».

​
Et ensuite ?

Une fois votre ClickPipe configuré pour répliquer les données de PostgreSQL vers ClickHouse Cloud, vous pouvez vous concentrer sur la façon d’interroger et de modéliser vos données afin d’obtenir des performances optimales. Consultez le guide de migration pour déterminer quelle stratégie correspond le mieux à vos besoins, ainsi que les pages Stratégies de déduplication (avec CDC) et Clés de tri pour découvrir les bonnes pratiques relatives aux workloads CDC. Pour les questions fréquentes sur le CDC avec PostgreSQL et le dépannage, consultez la page de FAQ Postgres.
Dernière modification le 25 juin 2026