Journalisation de DataStore - ClickHouse Documentation

DataStore utilise le module de journalisation standard de Python. Ce guide explique comment configurer la journalisation à des fins de débogage.

Démarrage rapide

from pathlib import Path
Path("data.csv").write_text("""\
name,age,city,salary,department
Alice,25,NYC,55000,Engineering
Bob,30,LA,65000,Product
Charlie,35,NYC,80000,Engineering
Diana,28,SF,70000,Design
Eve,42,NYC,95000,Product
""")

from chdb import datastore as pd
from chdb.datastore.config import config

# Enable debug logging
config.enable_debug()

# Now all operations will log details
ds = pd.read_csv("data.csv")
result = ds.filter(ds['age'] > 25).to_df()

Niveaux de journalisation

Niveau	Valeur	Description
`DEBUG`	10	Informations détaillées pour le débogage
`INFO`	20	Informations générales de fonctionnement
`WARNING`	30	Messages d’avertissement (par défaut)
`ERROR`	40	Messages d’erreur
`CRITICAL`	50	Défaillances critiques

Définir le niveau de journalisation

import logging
from chdb.datastore.config import config

# Using standard logging levels
config.set_log_level(logging.DEBUG)
config.set_log_level(logging.INFO)
config.set_log_level(logging.WARNING)  # Default
config.set_log_level(logging.ERROR)

# Using quick preset
config.enable_debug()  # Sets DEBUG level + verbose format

Format des logs

Format simple (par défaut)

Query

config.set_log_format("simple")

Response

DEBUG - Executing SQL query
DEBUG - Cache miss for key abc123

Format verbose

Query

config.set_log_format("verbose")

Response

2024-01-15 10:30:45.123 DEBUG datastore.core - Executing SQL query
2024-01-15 10:30:45.456 DEBUG datastore.cache - Cache miss for key abc123

Ce qui est consigné

Niveau DEBUG

Requêtes SQL générées
Sélection du moteur d’exécution
Opérations du cache (hits/misses)
Durée des opérations
Informations sur la source de données

DEBUG - Creating DataStore from file 'data.csv'
DEBUG - SQL: SELECT * FROM file('data.csv', 'CSVWithNames') WHERE age > 25
DEBUG - Using engine: chdb
DEBUG - Execution time: 0.089s
DEBUG - Cache: Storing result (key: abc123)

Niveau INFO

Achèvement des opérations majeures
Modifications de la configuration
Connexions aux sources de données

INFO - Loaded 1,000,000 rows from data.csv
INFO - Execution engine set to: chdb
INFO - Connected to MySQL: localhost:3306/mydb

Niveau WARNING

Utilisation de fonctionnalités obsolètes
Avertissements de performance
Problèmes non critiques

WARNING - Large result set (>1M rows) may cause memory issues
WARNING - Cache TTL exceeded, re-executing query
WARNING - Column 'date' has mixed types, using string

Niveau ERROR

Erreurs lors de l’exécution des requêtes
Erreurs de connexion
Erreurs de conversion des données

ERROR - Failed to execute SQL: syntax error near 'FORM'
ERROR - Connection to MySQL failed: timeout
ERROR - Cannot convert column 'price' to float

Configuration personnalisée de la journalisation

Utiliser le module de journalisation de Python

import logging

# Configure root logger
logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler('datastore.log'),
        logging.StreamHandler()
    ]
)

# Get DataStore logger
ds_logger = logging.getLogger('chdb.datastore')
ds_logger.setLevel(logging.DEBUG)

Journalisation dans un fichier

import logging

# Create file handler
file_handler = logging.FileHandler('datastore_debug.log')
file_handler.setLevel(logging.DEBUG)
file_handler.setFormatter(logging.Formatter(
    '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
))

# Add to DataStore logger
ds_logger = logging.getLogger('chdb.datastore')
ds_logger.addHandler(file_handler)

Désactiver la journalisation

import logging

# Suppress all DataStore logs
logging.getLogger('chdb.datastore').setLevel(logging.CRITICAL)

# Or using config
config.set_log_level(logging.CRITICAL)

Scénarios de débogage

Débogage de la génération SQL

config.enable_debug()

ds = pd.read_csv("data.csv")
result = ds.filter(ds['age'] > 25).groupby('city').sum()

Sortie des logs :

DEBUG - Creating DataStore from file 'data.csv'
DEBUG - Building filter: age > 25
DEBUG - Building groupby: city
DEBUG - Building aggregation: sum
DEBUG - Generated SQL:
        SELECT city, SUM(*) 
        FROM file('data.csv', 'CSVWithNames')
        WHERE age > 25
        GROUP BY city

Débogage de la sélection du moteur

config.enable_debug()

result = ds.filter(ds['x'] > 10).apply(custom_func)

Sortie des logs :

DEBUG - filter: selecting engine (eligible: chdb, pandas)
DEBUG - filter: using chdb (SQL-compatible)
DEBUG - apply: selecting engine (eligible: pandas)
DEBUG - apply: using pandas (custom function)

Débogage des opérations du cache

config.enable_debug()

# First execution
result1 = ds.filter(ds['age'] > 25).to_df()
# DEBUG - Cache miss for query hash abc123
# DEBUG - Executing query...
# DEBUG - Caching result (key: abc123, size: 1.2MB)

# Second execution (same query)
result2 = ds.filter(ds['age'] > 25).to_df()
# DEBUG - Cache hit for query hash abc123
# DEBUG - Returning cached result

Débogage des problèmes de performances

config.enable_debug()
config.enable_profiling()

# Logs will show timing for each operation
result = (ds
    .filter(ds['amount'] > 100)
    .groupby('region')
    .agg({'amount': 'sum'})
    .to_df()
)

Sortie des logs :

DEBUG - filter: 0.002ms
DEBUG - groupby: 0.001ms
DEBUG - agg: 0.003ms
DEBUG - SQL generation: 0.012ms
DEBUG - SQL execution: 89.456ms  <- Main time spent here
DEBUG - Result conversion: 2.345ms

Configuration de production

Paramètres recommandés

import logging
from chdb.datastore.config import config

# Production: minimal logging
config.set_log_level(logging.WARNING)
config.set_log_format("simple")
config.set_profiling_enabled(False)

Rotation des logs

import logging
from logging.handlers import RotatingFileHandler

# Create rotating file handler
handler = RotatingFileHandler(
    'datastore.log',
    maxBytes=10*1024*1024,  # 10MB
    backupCount=5
)
handler.setLevel(logging.WARNING)

# Add to DataStore logger
logging.getLogger('chdb.datastore').addHandler(handler)

Variables d’environnement

Vous pouvez également configurer la journalisation à l’aide de variables d’environnement :

# Set log level
export CHDB_LOG_LEVEL=DEBUG

# Set log format
export CHDB_LOG_FORMAT=verbose

import os
import logging

# Read from environment
log_level = os.environ.get('CHDB_LOG_LEVEL', 'WARNING')
config.set_log_level(getattr(logging, log_level))

Résumé

Tâche	Commande
Activer le débogage	`config.enable_debug()`
Définir le niveau	`config.set_log_level(logging.DEBUG)`
Définir le format	`config.set_log_format("verbose")`
Écrire dans un fichier	Utiliser les gestionnaires du module logging de Python
Désactiver les logs	`config.set_log_level(logging.CRITICAL)`

​Démarrage rapide

​Niveaux de journalisation

​Définir le niveau de journalisation

​Format des logs

​Format simple (par défaut)

​Format verbose

​Ce qui est consigné

​Niveau DEBUG

​Niveau INFO

​Niveau WARNING

​Niveau ERROR

​Configuration personnalisée de la journalisation

​Utiliser le module de journalisation de Python

​Journalisation dans un fichier

​Désactiver la journalisation

​Scénarios de débogage

​Débogage de la génération SQL

​Débogage de la sélection du moteur

​Débogage des opérations du cache

​Débogage des problèmes de performances

​Configuration de production

​Paramètres recommandés

​Rotation des logs

​Variables d’environnement

​Résumé

Démarrage rapide

Niveaux de journalisation

Définir le niveau de journalisation

Format des logs

Format simple (par défaut)

Format verbose

Ce qui est consigné

Niveau DEBUG

Niveau INFO

Niveau WARNING

Niveau ERROR

Configuration personnalisée de la journalisation

Utiliser le module de journalisation de Python

Journalisation dans un fichier

Désactiver la journalisation

Scénarios de débogage

Débogage de la génération SQL

Débogage de la sélection du moteur

Débogage des opérations du cache

Débogage des problèmes de performances

Configuration de production

Paramètres recommandés

Rotation des logs

Variables d’environnement

Résumé