Resynchroniser un ClickPipe de base de données

Documentation pour resynchroniser un ClickPipe de base de données

​

Que fait Resync ?

Une resynchronisation comprend les opérations suivantes, dans l’ordre :

1. Le ClickPipe existant est supprimé et un nouveau ClickPipe de « resynchronisation » est démarré. Ainsi, les modifications de structure des tables source sont prises en compte lorsque vous lancez une resynchronisation.
2. Le ClickPipe de resynchronisation crée (ou remplace) un nouvel ensemble de tables de destination portant les mêmes noms que les tables d’origine, avec le suffixe _resync.
3. Le chargement initial est effectué sur les tables _resync.
4. Les tables _resync sont ensuite échangées avec les tables d’origine. Les lignes supprimées logiquement sont transférées des tables d’origine vers les tables _resync avant l’échange.

Tous les paramètres du ClickPipe d’origine sont conservés dans le ClickPipe de resynchronisation. Les statistiques du ClickPipe d’origine sont réinitialisées dans l’UI.

​

Cas d’usage de la resynchronisation d’un ClickPipe

Voici quelques scénarios :

1. Vous devrez peut-être apporter des modifications majeures au schéma des tables sources, ce qui rendrait le ClickPipe existant inutilisable et vous obligerait à le redémarrer. Il vous suffit alors de cliquer sur Resync une fois les modifications effectuées.
2. Dans ClickHouse en particulier, vous avez peut-être dû modifier les clés ORDER BY des tables cibles. Vous pouvez utiliser Resync pour recharger les données dans la nouvelle table avec la bonne clé de tri.
3. Le slot de réplication du ClickPipe a été invalidé : Resync crée un nouveau ClickPipe et un nouveau slot sur la base de données source.

Vous pouvez relancer la resynchronisation plusieurs fois. Toutefois, tenez compte de la charge sur la base de données source lors de chaque resynchronisation, car un chargement initial avec des threads parallèles est effectué à chaque fois.

​

Guide de resynchronisation de ClickPipe

1. Dans l’onglet Sources de données, cliquez sur le Postgres ClickPipe que vous souhaitez resynchroniser.
2. Accédez à l’onglet Paramètres.
3. Cliquez sur le bouton Resync.

4. Une boîte de dialogue de confirmation devrait s’afficher. Cliquez à nouveau sur Resync.
5. Accédez à l’onglet Métriques.
6. Après environ 5 secondes (ou après actualisation de la page), le statut du pipe devrait être Setup ou Snapshot.
7. Le chargement initial de la resynchronisation peut être suivi dans l’onglet Tables, dans la section Initial Load Stats.
8. Une fois le chargement initial terminé, le pipe échangera de façon atomique les tables _resync avec les tables d’origine. Pendant cet échange, le statut sera Resync.
9. Une fois l’échange terminé, le pipe passera à l’état Running et effectuera le CDC s’il est activé.