Guide de configuration de la source RDS Postgres

Configurer Amazon RDS Postgres comme source pour ClickPipes

​

Versions de Postgres prises en charge

ClickPipes prend en charge Postgres à partir de la version 12.

​

Activer la réplication logique

Vous pouvez ignorer cette section si votre instance RDS est déjà configurée avec le paramètre suivant :

• rds.logical_replication = 1

Ce paramètre est généralement préconfiguré si vous avez déjà utilisé un autre outil de réplication des données.

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

Si ce n’est pas déjà configuré, suivez ces étapes :

1. Créez un nouveau groupe de paramètres pour votre version de Postgres avec les paramètres requis :
   • Définissez rds.logical_replication sur 1

2. Appliquez le nouveau groupe de paramètres à votre base de données RDS Postgres

3. Redémarrez votre instance RDS pour appliquer les modifications

​

Configurer l’utilisateur de la base de données

Connectez-vous à votre instance RDS Postgres en tant qu’utilisateur administrateur et exécutez les commandes suivantes :

1. Créez un utilisateur dédié pour ClickPipes :

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Accordez à l’utilisateur créé à l’étape précédente un accès en lecture seule au niveau du schéma. L’exemple suivant montre les privilèges pour le schéma public. Répétez ces commandes pour chaque schéma contenant des tables que vous souhaitez répliquer :

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Accordez les privilèges de réplication à l’utilisateur :

   GRANT rds_replication TO clickpipes_user;
   

4. Créez une publication avec les tables que vous souhaitez répliquer. Nous vous recommandons vivement de n’inclure dans la publication que les tables nécessaires afin d’éviter tout surcoût de performances.

Toute table incluse dans la publication doit soit avoir une clé primaire définie, soit avoir sa replica identity configurée sur FULL. Consultez la FAQ Postgres pour obtenir des conseils sur le périmètre à définir.

• Pour créer une publication pour des tables spécifiques :

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Pour créer une publication pour toutes les tables d’un schéma spécifique :

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

La publication clickpipes contiendra l’ensemble des événements de modification générés par les tables spécifiées et sera ensuite utilisée pour ingérer le flux de réplication.

​

Configurer l’accès au réseau

​

Contrôle d’accès basé sur l’adresse IP

Si vous souhaitez restreindre le trafic vers votre instance RDS, ajoutez les adresses IP NAT statiques documentées aux Inbound rules du groupe de sécurité de votre instance RDS.

​

Accès privé via AWS PrivateLink

Pour vous connecter à votre instance RDS via un réseau privé, vous pouvez utiliser AWS PrivateLink. Suivez notre guide de configuration d’AWS PrivateLink pour ClickPipes pour établir la connexion.

​

Solutions de contournement pour RDS Proxy

RDS Proxy ne prend pas en charge les connections de réplication logique. Si vous utilisez des adresses IP dynamiques dans RDS et que vous ne pouvez pas utiliser un nom DNS ni une fonction Lambda, voici quelques alternatives :

1. À l’aide d’une tâche cron, résolvez périodiquement l’adresse IP de l’endpoint RDS et mettez à jour le NLB si elle a changé.
2. Utiliser les notifications d’événements RDS avec EventBridge/SNS : déclenchez automatiquement les mises à jour à l’aide des notifications d’événements AWS RDS.
3. EC2 stable : déployez une instance EC2 pour servir de service de polling ou de proxy basé sur l’IP.
4. Automatisez la gestion des adresses IP à l’aide d’outils comme Terraform ou CloudFormation.

​

Et ensuite ?

Vous pouvez maintenant créer votre ClickPipe et commencer à ingérer des données depuis votre instance Postgres dans ClickHouse Cloud. Veillez à noter les informations de connexion utilisées lors de la configuration de votre instance Postgres, car vous en aurez besoin lors de la création du ClickPipe.