Guide de configuration de Google Cloud SQL Postgres en tant que source

Configurer Google Cloud SQL Postgres comme source pour ClickPipes

Si vous utilisez l’un des fournisseurs pris en charge (dans la barre latérale), veuillez consulter le guide correspondant.

​

Versions de Postgres prises en charge

Postgres 12 ou version ultérieure

​

Activer la réplication logique

Vous n’avez pas besoin de suivre les étapes ci-dessous si le paramètre cloudsql. logical_decoding est activé. Ce paramètre est généralement préconfiguré si vous migrez depuis un autre outil de réplication de données.

1. Cliquez sur le bouton Edit sur la page Overview.

2. Accédez à Flags et définissez cloudsql.logical_decoding sur on. Cette modification nécessitera le redémarrage de votre serveur Postgres.

​

Création de l’utilisateur ClickPipes et attribution des permissions

Connectez-vous à votre instance Cloud SQL Postgres avec l’utilisateur admin, puis exécutez les commandes ci-dessous :

1. Créez un utilisateur dédié pour ClickPipes :

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Accordez à l’utilisateur créé à l’étape précédente un accès en lecture seule au niveau du schéma. L’exemple suivant montre les permissions du schéma public. Répétez ces commandes pour chaque schéma contenant des tables que vous souhaitez répliquer :

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Accordez à l’utilisateur les privilèges de réplication :

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. Créez une publication avec les tables que vous souhaitez répliquer. Nous vous recommandons fortement de n’inclure dans la publication que les tables nécessaires afin de limiter l’impact sur les performances.

Toute table incluse dans la publication doit soit avoir une clé primaire définie, soit avoir son replica identity configuré sur FULL. Consultez la FAQ Postgres pour obtenir des conseils sur la définition du périmètre.

• Pour créer une publication pour des tables spécifiques :

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Pour créer une publication pour toutes les tables d’un schéma donné :

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

La publication clickpipes contiendra l’ensemble des événements de modification générés à partir des tables spécifiées et sera ensuite utilisée pour ingérer le flux de réplication.

​

Ajouter les ClickPipes IPs au pare-feu

Veuillez suivre les étapes ci-dessous pour ajouter les ClickPipes IPs à votre réseau.

Si vous utilisez le tunneling SSH, vous devez ajouter les ClickPipes IPs aux règles du pare-feu du Jump Server/Bastion.

1. Accédez à la section Connections

2. Accédez à la sous-section Networking

3. Ajoutez les IP publiques de ClickPipes

​

Quelle est la suite ?

Vous pouvez maintenant créer votre ClickPipe et commencer à ingérer les données de votre instance Postgres dans ClickHouse Cloud. Veillez à noter les coordonnées de connexion utilisées lors de la configuration de votre instance Postgres, car vous en aurez besoin pendant le processus de création du ClickPipe.