Guide de configuration de la source Amazon DocumentDB

Guide étape par étape pour configurer Amazon DocumentDB comme source pour ClickPipes

​

Versions prises en charge de DocumentDB

ClickPipes prend en charge DocumentDB version 5.0.

​

Configurer la rétention des journaux du flux de changements

Par défaut, Amazon DocumentDB conserve les journaux du flux de changements pendant 3 heures, alors que le chargement initial peut prendre bien plus longtemps selon le volume de données déjà présent dans votre instance DocumentDB. Nous vous recommandons de porter cette durée de rétention à 72 heures ou davantage, afin d’éviter qu’ils ne soient supprimés avant la fin du snapshot initial.

​

Mettre à jour la durée de rétention des journaux du flux de changements via la console AWS

1. Cliquez sur Parameter groups dans le panneau de gauche, puis repérez le groupe de paramètres utilisé par votre cluster DocumentDB (si vous utilisez le groupe de paramètres default, vous devrez d’abord en créer un nouveau pour pouvoir le modifier).

2. Recherchez change_stream_log_retention_duration, sélectionnez-le et remplacez sa valeur par 259200 (72 heures)

3. Cliquez sur Apply Changes pour appliquer immédiatement le groupe de paramètres modifié à votre cluster DocumentDB. Vous devriez voir le statut du groupe de paramètres passer à applying, puis à in-sync une fois la modification appliquée.

​

Mettre à jour la rétention des journaux du flux de changements via l’AWS CLI

Vous pouvez également effectuer cette configuration via l’AWS CLI.

Pour vérifier la durée actuelle de rétention des journaux du flux de changements :

aws docdb describe-db-cluster-parameters --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --query "Parameters[?ParameterName=='change_stream_log_retention_duration'].{Name:ParameterName,Value:ParameterValue}"

Pour définir la durée de rétention des journaux du flux de changements à 72 heures :

aws docdb modify-db-cluster-parameter-group --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --parameters "ParameterName=change_stream_log_retention_duration,ParameterValue=259200,ApplyMethod=immediate"

​

Configurer un utilisateur de base de données

Connectez-vous à votre cluster DocumentDB en tant qu’administrateur et exécutez la commande suivante pour créer un utilisateur de base de données destiné à ClickPipes pour le CDC MongoDB :

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Veillez à remplacer clickpipes_user et some_secure_password par le nom d’utilisateur et le mot de passe souhaités.

​

Quelle est la suite ?

Vous pouvez maintenant créer votre ClickPipe et commencer à ingérer des données de votre instance DocumentDB dans ClickHouse Cloud. Veillez à noter les informations de connexion utilisées lors de la configuration de votre cluster DocumentDB, car vous en aurez besoin lors du processus de création du ClickPipe.