Ингестия данных

Обзорная страница раздела ингестии данных

ClickHouse интегрируется с рядом решений для интеграции и преобразования данных. Дополнительные сведения см. на страницах ниже:

Инструмент ингестии данных	Описание
Airbyte	Платформа интеграции данных с открытым исходным кодом. Позволяет создавать конвейеры данных ELT и включает более 140 готовых коннекторов.
Apache Spark	Многоязычный движок для выполнения задач data engineering, data science и машинного обучения на односерверных системах и в кластерах
Apache Flink	Приём и обработка данных в реальном времени в ClickHouse через API DataStream Flink с поддержкой батч-записи
Amazon Glue	Полностью управляемый бессерверный сервис интеграции данных от Amazon Web Services (AWS), упрощающий поиск, подготовку и преобразование данных для аналитики, машинного обучения и разработки приложений.
Artie	Полностью управляемая платформа стриминга данных в реальном времени, которая реплицирует production-данные в ClickHouse, открывая возможности для клиентской аналитики, операционных процессов и Agentic AI в production.
Azure Synapse	Полностью управляемый облачный аналитический сервис от Microsoft Azure, объединяющий большие данные и хранилище данных, чтобы упростить интеграцию, преобразование и анализ данных в любом масштабе с использованием SQL, Apache Spark и конвейеров данных.
Azure Data Factory	Облачный сервис интеграции данных, который позволяет создавать, планировать и оркестрировать потоки данных в любом масштабе.
Apache Beam	Унифицированная модель программирования с открытым исходным кодом, которая позволяет разработчикам определять и выполнять конвейеры обработки как батч-, так и потоковых (непрерывных) данных.
BladePipe	Сквозной инструмент интеграции данных в реальном времени с задержкой менее секунды, обеспечивающий бесперебойный поток данных между платформами.
dbt	Позволяет аналитикам данных преобразовывать данные в своих хранилищах, просто записывая операторы SELECT.
dlt	Библиотека с открытым исходным кодом, которую можно добавить в Python-скрипты для загрузки данных из различных, часто неупорядоченных источников в хорошо структурированные, актуальные наборы данных.
Estuary	Платформа данных right-time, обеспечивающая ETL-конвейеры с задержкой в миллисекунды и гибкими вариантами развертывания.
Fivetran	Автоматизированная платформа перемещения данных, которая переносит данные из, в и между вашими облачными платформами данных.
NiFi	Программное обеспечение для управления рабочими процессами с открытым исходным кодом, предназначенное для автоматизации потоков данных между программными системами.
Vector	Высокопроизводительный конвейер данных для обсервабилити, который дает организациям контроль над их данными обсервабилити.