Guide de configuration d’une source AlloyDB Postgres

Configurer une instance AlloyDB Postgres comme source pour ClickPipes

​

Versions prises en charge

Pour transférer les données de votre instance AlloyDB vers ClickHouse Cloud à l’aide de ClickPipes, votre instance doit être configurée pour la réplication logique. Cette fonctionnalité est prise en charge à partir d’AlloyDB version 14.

​

Activer la réplication logique

Pour vérifier si la réplication logique est activée sur votre instance AlloyDB, exécutez la requête suivante sur votre instance primaire :

SHOW  wal_level;

Si le résultat est logical, la réplication logique est déjà activée et vous pouvez passer à l’étape suivante. Si le résultat est replica, vous devez définir les flags alloydb.enable_pglogical et alloydb.logical_decoding sur on sur l’instance primaire.

Comme indiqué dans la documentation des flags AlloyDB, la modification des flags qui activent la réplication logique nécessite un redémarrage de l’instance primaire.

Pour activer ces flags :

1. Dans Google Cloud Console, accédez à la page AlloyDB Clusters. Dans le menu Actions de votre instance primaire, cliquez sur Edit.

2. Faites défiler la page jusqu’à Advanced configuration options et développez la section. Sous Flags, cliquez sur Add a database flag.

   • Ajoutez le flag allowdb.enable_pglogical et définissez sa valeur sur on
   • Ajoutez le flag alloydb.logical_decoding et définissez sa valeur sur on

3. Cliquez sur Update instance pour enregistrer les modifications de configuration. Il est important de noter que cette action déclenche un redémarrage de l’instance primaire.

4. Une fois que l’état de l’instance passe de Updating à Ready, exécutez la requête suivante sur votre instance primaire pour vérifier que la réplication logique est activée :

   SHOW  wal_level;
   

   Le résultat doit être logical.

​

Créer un utilisateur ClickPipes et gérer les privilèges de réplication

Connectez-vous à votre instance AlloyDB en tant qu’administrateur et exécutez les commandes suivantes :

1. Créez un utilisateur dédié pour ClickPipes :

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Accordez à l’utilisateur créé à l’étape précédente un accès en lecture seule au niveau du schéma. L’exemple suivant montre les privilèges pour le schéma public. Répétez ces commandes pour chaque schéma contenant des tables que vous souhaitez répliquer :

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Accordez à l’utilisateur les privilèges de réplication :

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. Créez une publication incluant les tables que vous souhaitez répliquer. Nous vous recommandons vivement de n’inclure dans la publication que les tables nécessaires afin d’éviter tout surcoût en termes de performances.

Toute table incluse dans la publication doit soit avoir une clé primaire définie, soit avoir sa replica identity configurée sur FULL. Consultez la FAQ Postgres pour obtenir des conseils sur la définition du périmètre.

• Pour créer une publication pour des tables spécifiques :

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Pour créer une publication pour toutes les tables d’un schéma spécifique :

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

La publication clickpipes contiendra l’ensemble des événements de modification générés par les tables spécifiées, et sera ensuite utilisée pour ingérer le flux de réplication.

​

Configurer l’accès réseau

ClickPipes ne prend pas en charge les connexions Private Service Connect (PSC). Si vous n’autorisez pas l’accès public à votre instance AlloyDB, vous pouvez utiliser un tunnel SSH pour vous connecter en toute sécurité. PSC sera pris en charge à l’avenir.

Vous devez ensuite autoriser les connexions à votre instance AlloyDB depuis ClickPipes.

Autoriser les IP de ClickPipes

1. Dans la Google Cloud Console, accédez à la page AlloyDB Clusters. Sélectionnez votre instance primaire pour ouvrir la page Overview.

2. Faites défiler la page jusqu’à Instances in your cluster et cliquez sur Edit primary.

3. Cochez la case Enable Public IP pour autoriser les connexions à l’instance via l’internet public. Sous Authorized external networks, saisissez la liste des adresses IP statiques de ClickPipes pour la région dans laquelle votre service est déployé.

AlloyDB attend que les adresses soient indiquées en notation CIDR. Vous pouvez adapter la liste fournie des adresses IP statiques de ClickPipes à cette notation en ajoutant /32 à chaque adresse.

4. Sous Network Security, sélectionnez Require SSL Encryption (default) (si ce n’est pas déjà fait).

5. Cliquez sur Update instance pour enregistrer les modifications de la configuration de sécurité réseau.

Utiliser un tunnel SSH

Si vous n’autorisez pas l’accès public à votre instance AlloyDB, vous devez d’abord configurer un hôte bastion SSH afin d’établir un tunnel sécurisé pour votre connexion. Pour configurer un hôte bastion SSH sur Google Cloud Platform :

1. Créez et démarrez une instance Google Compute Engine (GCE) en suivant la documentation officielle.

   • Assurez-vous que l’instance GCE se trouve dans le même réseau privé virtuel (VPC) que votre instance AlloyDB.
   • Assurez-vous que l’instance GCE dispose d’une adresse IP publique statique. Vous utiliserez cette adresse IP pour connecter ClickPipes à votre hôte bastion SSH.

2. Mettez à jour les règles de pare-feu de l’hôte bastion SSH afin d’autoriser le trafic provenant de la liste des adresses IP statiques de ClickPipes pour la région dans laquelle votre service est déployé.

3. Mettez à jour les règles de pare-feu d’AlloyDB afin d’autoriser le trafic provenant de l’hôte bastion SSH.

​

Et maintenant ?

Vous pouvez maintenant créer votre ClickPipe et commencer à ingérer des données de votre instance Postgres dans ClickHouse Cloud. Veillez à noter les informations de connexion utilisées lors de la configuration de votre instance Postgres, car vous en aurez besoin pendant le processus de création du ClickPipe.