Premiers pas avec Managed ClickStack

Premiers pas avec Managed ClickStack

Le moyen le plus simple de démarrer consiste à déployer Managed ClickStack sur ClickHouse Cloud, qui fournit un backend entièrement géré et sécurisé tout en conservant un contrôle total sur l’ingestion, le schéma et les workflows d’observabilité. Cela vous évite d’exploiter ClickHouse vous-même et offre plusieurs avantages :

• Mise à l’échelle automatique de la capacité de calcul, indépendante du stockage
• Rétention peu coûteuse et pratiquement illimitée, basée sur le stockage objet
• Possibilité d’isoler indépendamment les charges de travail de lecture et d’écriture avec des warehouses.
• Authentification intégrée
• Sauvegardes automatisées
• Fonctionnalités de sécurité et de conformité
• Mises à niveau transparentes

1. ​

   Inscrivez-vous à ClickHouse Cloud

   Pour créer un service Managed ClickStack dans ClickHouse Cloud, commencez par effectuer la première étape du guide de démarrage rapide ClickHouse Cloud.

   Scale vs Enterprise

   Nous recommandons ce niveau Scale pour la plupart des charges de travail ClickStack. Choisissez le niveau Enterprise si vous avez besoin de fonctionnalités de sécurité avancées comme SAML, CMEK ou la conformité HIPAA. Il propose également des profils matériels personnalisés pour les déploiements ClickStack de très grande envergure. Dans ce cas, nous vous recommandons de contacter le support.

   Sélectionnez le fournisseur Cloud et la région.

   

   Lorsque vous indiquez les CPU et la mémoire, estimez-les en fonction de votre débit d’ingestion ClickStack attendu. Le tableau ci-dessous fournit des repères pour dimensionner ces ressources.

   Volume d’ingestion mensuel	Capacité de calcul recommandée
   < 10 TB / mois	2 vCPU × 3 répliques
   10–50 TB / mois	4 vCPU × 3 répliques
   50–100 TB / mois	8 vCPU × 3 répliques
   100–500 TB / mois	30 vCPU × 3 répliques
   1 PB+ / mois	59 vCPU × 3 répliques

   Ces recommandations reposent sur les hypothèses suivantes :

   • Le volume de données correspond au volume d’ingestion non compressé par mois et s’applique aussi bien aux logs qu’aux traces.
   • Les modèles de requêtes sont typiques des cas d’usage d’observabilité, la plupart des requêtes portant sur des données récentes, généralement des 24 dernières heures.
   • L’ingestion est relativement uniforme sur l’ensemble du mois. Si vous prévoyez un trafic irrégulier ou des pics, vous devez prévoir une marge de capacité supplémentaire.
   • Le stockage est géré séparément via le stockage objet ClickHouse Cloud et ne constitue pas un facteur limitant pour la rétention. Nous partons du principe que les données conservées plus longtemps sont rarement consultées.

   Des ressources de calcul supplémentaires peuvent être nécessaires pour des modes d’accès qui interrogent régulièrement des intervalles de temps plus longs, effectuent des agrégations lourdes ou prennent en charge un grand nombre d’utilisateurs simultanés.

   Bien que deux répliques puissent répondre aux exigences de CPU et de mémoire pour un débit d’ingestion donné, nous recommandons d’utiliser trois répliques lorsque cela est possible afin d’obtenir la même capacité totale et d’améliorer la redondance du service.

   Ces valeurs sont uniquement des estimations et doivent être utilisées comme point de départ. Les besoins réels dépendent de la complexité des requêtes, de la concurrence, des politiques de rétention et de la variabilité du débit d’ingestion. Surveillez toujours l’utilisation des ressources et adaptez le dimensionnement si nécessaire.

   Une fois vos besoins définis, le provisionnement de votre service Managed ClickStack prendra რამდენიმე minutes. N’hésitez pas à explorer le reste de la console ClickHouse Cloud pendant le provisionnement.

   Une fois le provisionnement terminé, l’option ‘ClickStack’ dans le menu de gauche sera activée.

2. ​

   Configurer l’ingestion

   Une fois votre service provisionné, assurez-vous que le service est bien sélectionné, puis cliquez sur “ClickStack” dans le menu de gauche.

   

   Sélectionnez “Start Ingestion” et vous serez invité à choisir une source d’ingestion. Managed ClickStack prend en charge OpenTelemetry et Vector comme principales sources d’ingestion. Les utilisateurs peuvent toutefois aussi envoyer des données directement vers ClickHouse selon leur propre schéma, à l’aide de l’une des intégrations prises en charge par ClickHouse Cloud.

   

   OpenTelemetry recommandé

   L’utilisation d’OpenTelemetry est fortement recommandée pour l’ingestion. Il offre l’expérience la plus simple et la plus optimisée, avec des schémas prêts à l’emploi spécialement conçus pour fonctionner efficacement avec ClickStack.

   OpenTelemetry

   Pour envoyer des données OpenTelemetry à Managed ClickStack, il est recommandé d’utiliser un OpenTelemetry Collector. Le collector agit comme une passerelle : il reçoit les données OpenTelemetry de vos applications (et d’autres collectors) et les transmet à ClickHouse Cloud.

   Si vous n’avez pas déjà un collector en cours d’exécution, démarrez-en un en suivant les étapes ci-dessous. Si vous disposez déjà de collectors, un exemple de configuration est également fourni.

   ​

   Démarrer un collector

   La suite de cette procédure part du principe que vous utilisez l’option recommandée, à savoir la distribution ClickStack de l’OpenTelemetry Collector, qui inclut des traitements supplémentaires et est spécifiquement optimisée pour ClickHouse Cloud. Si vous souhaitez utiliser votre propre OpenTelemetry Collector, consultez « Configurer des collectors existants »

   Pour démarrer rapidement, copiez et exécutez la commande Docker affichée.

   

   Cette commande doit déjà contenir vos identifiants de connexion préremplis.

   Déploiement en production

   Bien que cette commande utilise l’utilisateur default pour se connecter à Managed ClickStack, vous devriez créer un utilisateur dédié lors du passage en production et modifier votre configuration.

   L’exécution de cette seule commande démarre le ClickStack collector avec des endpoints OTLP exposés sur les ports 4317 (gRPC) et 4318 (HTTP). Si vous disposez déjà d’une instrumentation OpenTelemetry et d’agents, vous pouvez immédiatement commencer à envoyer des données de télémétrie vers ces endpoints.

   ​

   Configurer des collectors existants

   Vous pouvez également configurer vos propres OpenTelemetry Collectors existants ou utiliser votre propre distribution du collector.

   ClickHouse exporter requis

   Si vous utilisez votre propre distribution, par exemple l’image contrib, assurez-vous qu’elle inclut le ClickHouse exporter.

   À cette fin, un exemple de configuration d’OpenTelemetry Collector vous est fourni. Il utilise le ClickHouse exporter avec les paramètres appropriés et expose des receivers OTLP. Cette configuration correspond aux interfaces et au comportement attendus par la distribution ClickStack.

   

   Pour plus de détails sur la configuration des collectors OpenTelemetry, consultez « Ingestion avec OpenTelemetry »

   ​

   Démarrer l’ingestion (facultatif)

   Si vous avez des applications ou une infrastructure existantes à instrumenter avec OpenTelemetry, accédez aux guides correspondants depuis l’UI.

   Pour instrumenter vos applications afin de collecter des traces et des logs, utilisez les SDKs de langages pris en charge, qui envoient les données à votre OpenTelemetry Collector, lequel agit comme une passerelle pour l’ingestion dans Managed ClickStack.

   Les logs peuvent être collectés à l’aide d’OpenTelemetry Collectors exécutés en mode agent, qui transmettent les données au même collector. Pour le monitoring Kubernetes, suivez le guide dédié. Pour les autres intégrations, consultez nos guides de démarrage rapide.

   ​

   Données de démonstration

   Sinon, si vous n’avez pas de données existantes, essayez l’un de nos jeux de données d’exemple.

   • Jeu de données d’exemple - Chargez un jeu de données d’exemple depuis notre démo publique. Diagnostiquez un problème simple.
   • Fichiers locaux et métriques - Chargez des fichiers locaux et surveillez le système sur OSX ou Linux à l’aide d’un collector OTel local.

   
   

   Vecteur

   Vector est un pipeline de données d’observabilité haute performance, indépendant des fournisseurs, particulièrement apprécié pour l’ingestion de logs grâce à sa flexibilité et à sa faible empreinte en ressources.

   Lorsque vous utilisez Vector avec ClickStack, vous devez définir vos propres schémas. Ces schémas peuvent suivre les conventions OpenTelemetry, mais ils peuvent aussi être entièrement personnalisés pour représenter des structures d’événements définies par l’utilisateur.

   Timestamp requis

   La seule exigence stricte pour Managed ClickStack est que les données incluent une colonne timestamp (ou un champ temporel équivalent), qui peut être déclarée lors de la configuration de la source de données dans l’UI ClickStack.

   La suite suppose que vous disposez d’une instance de Vector en cours d’exécution, préconfigurée avec des pipelines d’ingestion, qui transmet des données.

   ​

   Créer une base de données et une table

   Vector exige qu’une table et un schéma soient définis avant l’ingestion des données.

   Créez d’abord une base de données. Vous pouvez le faire via la ClickHouse Cloud console.

   Par exemple, créez une base de données pour les logs :

   CREATE DATABASE IF NOT EXISTS logs
   

   Créez ensuite une table dont le schéma correspond à la structure de vos données de logs. L’exemple ci-dessous suppose un format classique de logs d’accès Nginx :

   CREATE TABLE logs.nginx_logs
   (
       `time_local` DateTime,
       `remote_addr` IPv4,
       `remote_user` LowCardinality(String),
       `request` String,
       `status` UInt16,
       `body_bytes_sent` UInt64,
       `http_referer` String,
       `http_user_agent` String,
       `http_x_forwarded_for` LowCardinality(String),
       `request_time` Float32,
       `upstream_response_time` Float32,
       `http_host` String
   )
   ENGINE = MergeTree
   ORDER BY (toStartOfMinute(time_local), status, remote_addr);
   

   Votre table doit correspondre au schéma de sortie généré par Vector. Ajustez le schéma en fonction de vos données, en suivant les bonnes pratiques recommandées pour les schémas.

   Nous vous recommandons vivement de bien comprendre le fonctionnement des clés primaires dans ClickHouse et de choisir une clé de tri en fonction de vos schémas d’accès. Consultez les recommandations spécifiques à ClickStack pour choisir une clé primaire.

   Une fois la table créée, copiez l’extrait de configuration affiché. Ajustez l’entrée afin de consommer vos pipelines existants, ainsi que la table cible et la base de données si nécessaire. Les informations d’identification devraient être préremplies.

   

   Pour plus d’exemples sur l’ingestion de données avec Vector, consultez “Ingestion avec Vector” ou la documentation du sink ClickHouse de Vector pour les options avancées.

   
   
3. ​

   Accéder à la ClickStack UI

   Sélectionnez « Launch ClickStack » pour accéder à l’interface ClickStack (HyperDX). Vous serez automatiquement authentifié, puis redirigé.

   OpenTelemetry

   Des sources de données seront automatiquement créées pour toutes les données OpenTelemetry.

   

   Vector

   Si vous utilisez Vector, vous devrez créer vos propres sources de données. Il vous sera demandé d’en créer une lors de votre première connexion. Ci-dessous, nous montrons un exemple de configuration pour une source de données de logs.

   

   Cette configuration suppose un schéma de type Nginx avec une colonne time_local utilisée comme horodatage. Idéalement, il doit s’agir de la colonne d’horodatage déclarée dans la clé primaire. Cette colonne est obligatoire.

   Nous vous recommandons également de mettre à jour Default SELECT afin de définir explicitement quelles colonnes sont renvoyées dans la vue des logs. Si des champs supplémentaires sont disponibles, comme le nom du service, le niveau de log ou une colonne body, ils peuvent aussi être configurés. La colonne d’affichage de l’horodatage peut également être redéfinie si elle diffère de la colonne utilisée dans la clé primaire de la table et configurée ci-dessus.

   Dans l’exemple ci-dessus, il n’existe pas de colonne Body dans les données. À la place, elle est définie à l’aide d’une expression SQL qui reconstitue une ligne de log Nginx à partir des champs disponibles.

   Pour connaître les autres options possibles, consultez la référence de configuration.

   Une fois la source créée, vous devriez être redirigé vers la vue de recherche, où vous pourrez immédiatement commencer à explorer vos données.

   

   
   

   Et c’est tout — vous êtes prêt. 🎉

   Vous pouvez maintenant explorer ClickStack : commencez à rechercher dans les logs et les traces, observez comment les logs, les traces et les métriques se corrèlent en temps réel, créez des tableaux de bord, explorez les Service maps, découvrez Event deltas et Patterns, et configurez des alertes pour garder une longueur d’avance sur les problèmes.

4. ​

   Étapes suivantes

   Enregistrez les identifiants par défaut

   Si vous n’avez pas noté vos identifiants par défaut pendant les étapes ci-dessus, accédez au service et sélectionnez Connect, puis notez le mot de passe ainsi que les endpoints HTTP/native. Stockez ces identifiants d’administrateur en lieu sûr, car ils pourront être réutilisés dans d’autres guides.

   Pour effectuer des tâches telles que le provisionnement de nouveaux utilisateurs ou l’ajout d’autres sources de données, consultez le guide de déploiement de Managed ClickStack.