Guide de configuration de la source Crunchy Bridge Postgres

Configurer Crunchy Bridge Postgres en tant que source pour ClickPipes

ClickPipes prend en charge Postgres à partir de la version 12.

​

Activer la réplication logique

Crunchy Bridge est livré avec la réplication logique activée par défaut. Assurez-vous que les paramètres ci-dessous sont correctement configurés. Sinon, ajustez-les en conséquence.

SHOW wal_level; -- should be logical
SHOW max_wal_senders; -- should be 10
SHOW max_replication_slots; -- should be 10

​

Création de l’utilisateur ClickPipes et octroi des autorisations

Connectez-vous à votre instance Crunchy Bridge Postgres avec l’utilisateur postgres, puis exécutez les commandes ci-dessous :

1. Créez un utilisateur dédié pour ClickPipes :

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Accordez à l’utilisateur créé à l’étape précédente un accès en lecture seule au niveau du schéma. L’exemple suivant montre les autorisations pour le schéma public. Répétez ces commandes pour chaque schéma contenant des tables que vous souhaitez répliquer :

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Accordez à l’utilisateur les privilèges de réplication :

    ALTER USER clickpipes_user WITH REPLICATION;
   

4. Créez une publication avec les tables que vous souhaitez répliquer. Nous vous recommandons vivement de n’inclure dans la publication que les tables nécessaires afin d’éviter tout surcoût de performances.

Toute table incluse dans la publication doit soit avoir une clé primaire définie, soit avoir son identité de réplica configurée sur FULL. Consultez la FAQ Postgres pour savoir comment en définir le périmètre.

• Pour créer une publication pour des tables spécifiques :

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Pour créer une publication pour toutes les tables d’un schéma spécifique :

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

La publication clickpipes contiendra l’ensemble des événements de modification générés par les tables spécifiées et servira ensuite à ingérer le flux de réplication.

​

Ajoutez les ClickPipes IPs à la liste d’autorisation

Ajoutez les ClickPipes IPs à la liste d’autorisation en configurant les règles du pare-feu dans Crunchy Bridge.

​

Et maintenant ?

Vous pouvez maintenant créer votre ClickPipe et commencer à ingérer des données depuis votre instance Postgres dans ClickHouse Cloud. Veillez à noter les informations de connexion utilisées lors de la configuration de votre instance Postgres, car vous en aurez besoin pendant le processus de création de votre ClickPipe.