Перенос данных из облачного объектного хранилища в ClickHouse Cloud

Если вы используете объектное хранилище Cloud как озеро данных и хотите импортировать эти данные в ClickHouse Cloud, или если ваша текущая система баз данных может напрямую выгружать данные в объектное хранилилище Cloud, вы можете использовать одну из табличных функций для миграции данных, хранящихся в объектном хранилище Cloud, в таблицу ClickHouse Cloud:

Если ваша текущая система баз данных не может напрямую выгружать данные в объектное хранилище Cloud, вы можете использовать сторонний инструмент ETL/ELT или clickhouse-local для переноса данных из вашей текущей системы баз данных в объектное хранилище Cloud, чтобы на втором этапе затем перенести эти данные в таблицу ClickHouse Cloud. Хотя это двухэтапный процесс (выгрузка данных в объектное хранилище Cloud, затем загрузка в ClickHouse), его преимущество в том, что он масштабируется до PB благодаря надежной поддержке ClickHouse Cloud высокопараллельного чтения из объектного хранилища Cloud. Кроме того, вы можете использовать эффективные сжатые форматы, такие как Parquet. Есть статья в блоге с конкретными примерами кода, показывающими, как загружать данные в ClickHouse Cloud с помощью S3.