Passer au contenu principal
L’ingestion de données de MongoDB vers ClickHouse Cloud via ClickPipes est en bêta publique.
Dans la console de ClickHouse Cloud et la documentation, “table” et “collection” sont employés indifféremment pour MongoDB.
Vous pouvez utiliser ClickPipes pour ingérer des données depuis votre base de données MongoDB dans ClickHouse Cloud. La base de données source MongoDB peut être hébergée sur site ou dans le cloud à l’aide de services comme MongoDB Atlas. Les ClickPipes MongoDB peuvent être déployés et gérés manuellement à l’aide de l’interface utilisateur de ClickPipes, ainsi que par programmation à l’aide d’OpenAPI et de Terraform.

​
Prérequis

Pour commencer, vous devez d’abord vous assurer que votre base de données MongoDB est correctement configurée pour la réplication. Les étapes de configuration dépendent de la manière dont vous déployez MongoDB ; veuillez donc suivre le guide correspondant ci-dessous :
  1. MongoDB Atlas
  2. Generic MongoDB
  3. Amazon DocumentDB
Une fois votre base de données MongoDB source configurée, vous pouvez poursuivre la création de votre ClickPipe.

​
Créez votre ClickPipe

Assurez-vous d’être connecté à votre compte ClickHouse Cloud. Si vous n’avez pas encore de compte, vous pouvez vous inscrire ici.
  1. Dans la console ClickHouse Cloud, accédez à votre service ClickHouse Cloud.
  1. Sélectionnez le bouton Data Sources dans le menu de gauche, puis cliquez sur « Set up a ClickPipe ».
  1. Sélectionnez la tuile MongoDB CDC.

​
Ajoutez la connexion à votre base de données source MongoDB

  1. Renseignez les détails de connexion de votre base de données source MongoDB, que vous avez configurée à l’étape des prérequis.
Avant de commencer à ajouter vos détails de connexion, assurez-vous d’avoir autorisé les adresses IP de ClickPipes dans vos règles de pare-feu. Sur la page suivante, vous trouverez une liste des adresses IP de ClickPipes. Pour plus d’informations, consultez les guides de configuration de la source MongoDB liés en haut de cette page.

​
(Facultatif) Configurer le tunnel SSH

Vous pouvez spécifier les informations du tunnel SSH si votre base de données source MongoDB n’est pas accessible publiquement.
  1. Activez le bouton bascule « Utiliser le tunnel SSH ».
  2. Renseignez les informations de connexion SSH.
  3. Pour utiliser l’authentification par clé, cliquez sur « Révoquer et générer une paire de clés » pour générer une nouvelle paire de clés, puis copiez la clé publique générée sur votre serveur SSH dans ~/.ssh/authorized_keys.
  4. Cliquez sur « Vérifier la connexion » pour valider la connexion.
Assurez-vous d’autoriser les adresse IP de ClickPipes dans vos règles de pare-feu pour l’hôte bastion SSH afin que ClickPipes puisse établir le tunnel SSH.
Une fois les informations de connexion renseignées, cliquez sur Next.

​
Configurer les paramètres avancés

Vous pouvez configurer les paramètres avancés si nécessaire. Une brève description de chaque paramètre est fournie ci-dessous :
  • Sync interval : il s’agit de l’intervalle auquel ClickPipes interroge la base de données source pour détecter des changements. Cela a un impact sur le service ClickHouse de destination ; pour les utilisateurs attentifs aux coûts, nous recommandons de conserver une valeur plus élevée (supérieure à 3600).
  • Pull batch size : le nombre de lignes à récupérer en une seule fois. Il s’agit d’un paramètre appliqué au mieux, qui peut ne pas être respecté dans tous les cas.
  • Snapshot number of tables in parallel : il s’agit du nombre de tables qui seront récupérées en parallèle pendant le snapshot initial. Cela est utile si vous avez un grand nombre de tables et souhaitez contrôler le nombre de tables récupérées en parallèle.

​
Configurer les tables

  1. Ici, vous pouvez sélectionner la base de données de destination de votre ClickPipe. Vous pouvez soit sélectionner une base de données existante, soit en créer une nouvelle.
  2. Vous pouvez sélectionner les tables que vous souhaitez répliquer depuis la base de données source MongoDB. Lors de la sélection des tables, vous pouvez également choisir de les renommer dans la base de données ClickHouse de destination.

​
Vérifiez les autorisations et démarrez le ClickPipe

  1. Sélectionnez le rôle « Full access » dans le menu déroulant des autorisations, puis cliquez sur « Complete Setup ».

​
Et ensuite ?

Une fois votre ClickPipe configuré pour répliquer les données de MongoDB vers ClickHouse Cloud, vous pouvez vous concentrer sur la façon d’interroger et de modéliser vos données pour des performances optimales.

​
Points à noter

Voici quelques points à noter lors de l’utilisation de ce connecteur :
  • MongoDB version 5.1.0 ou ultérieure est requise.
  • Nous utilisons l’API native Change Streams de MongoDB pour le CDC, qui s’appuie sur l’oplog de MongoDB pour capturer les changements en temps réel.
  • Les documents MongoDB sont répliqués dans ClickHouse au format JSON type par défaut. Cela permet une gestion flexible du schéma et l’utilisation du riche ensemble d’opérateurs JSON de ClickHouse pour les requêtes et l’analytics. Vous pouvez en savoir plus sur l’interrogation des données JSON ici.
  • La configuration PrivateLink en self-service n’est pas disponible pour le moment. Si vous utilisez AWS et avez besoin de PrivateLink, veuillez contacter db-integrations-support@clickhouse.com ou créer un ticket de support — nous travaillerons avec vous pour l’activer.
Dernière modification le 25 juin 2026