Intégrer Apache Spark à ClickHouse

Introduction à Apache Spark avec ClickHouse

Apache Spark est un moteur multilangage permettant d’exécuter des charges de travail d’ingénierie des données, de science des données et de machine learning sur des machines à nœud unique ou des clusters.

Il existe deux principales façons de connecter Apache Spark à ClickHouse :

1. Spark Connector - Le Spark connector implémente DataSourceV2 et dispose de sa propre gestion du Catalog. À ce jour, il s’agit de la méthode recommandée pour intégrer ClickHouse et Spark.
2. Spark JDBC - Intégrez Spark à ClickHouse à l’aide d’une source de données JDBC.

Les deux solutions ont été testées avec succès et sont entièrement compatibles avec diverses API, notamment Java, Scala, PySpark et Spark SQL.

​

Environnements d’exécution de Spark

​

Environnements d’exécution Spark standard

Le Spark Connector fonctionne d’emblée dans les environnements qui suivent de près l’environnement d’exécution Apache Spark de référence, comme Amazon EMR ou les déploiements Spark basés sur Kubernetes.

​

Plateformes Spark gérées

Des plateformes comme AWS Glue et Databricks ajoutent des abstractions supplémentaires et des comportements propres à leur environnement. Bien que l’intégration de base reste la même, elles peuvent nécessiter une configuration spécifique et des étapes de mise en place dédiées. Consultez les pages de documentation correspondantes pour en savoir plus.