Как проверить, используется ли проекция в запросе?

Узнайте, как проверить, используется ли проекция в запросах ClickHouse, с помощью тестовых данных и EXPLAIN.

​

Вопрос

Как понять, используется ли проекция?

​

Ответ

1. Создайте тестовую базу данных

CREATE database db1;

2. Создайте таблицу-пример, в которой в качестве первичного ключа используется column1

CREATE table db1.table1_projections
(
 column1 Int32,
 column2 Int32
)
engine = MergeTree()
order by column1;

3. Добавьте PROJECTION for_column2, чтобы сделать column2 первичным ключом

ALTER table db1.table1_projections add projection for_column2
(
  select * 
  order by column2
);

4. Вставьте тестовые данные

*это вставит 100000 строк со случайными числами в столбцы column1 и column2

INSERT INTO db1.table1_projections
select 
 floor(randNormal(50, 5)) as column1,
 floor(randUniform(1, 100)) as column2
from numbers(100000);

5. Проверьте выборку данных

clickhouse-cloud :) SELECT * from db1.table1_projections limit 5;

SELECT *
FROM db1.table1_projections
LIMIT 5

Query id: d6940799-b507-4a5e-9843-df55ebe818ab

┌─column1─┬─column2─┐
│      28 │      41 │
│      29 │      12 │
│      30 │      73 │
│      30 │      75 │
│      30 │      70 │
└─────────┴─────────┘

6. Проверьте, что используется исходная таблица со столбцом column1:

clickhouse-cloud :) explain indexes = 1 
                    SELECT count() from db1.table1_projections where column1 > 50;

EXPLAIN indexes = 1
SELECT count()
FROM db1.table1_projections
WHERE column1 > 50

Query id: e04d5236-1a05-4f1f-9502-7e41986beb44

┌─explain────────────────────────────────────────────┐
│ Expression ((Projection + Before ORDER BY))        │
│   Aggregating                                      │
│     Expression (Before GROUP BY)                   │
│       Filter (WHERE)                               │
│         ReadFromMergeTree (db1.table1_projections) │
│         Indexes:                                   │
│           PrimaryKey                               │
│             Condition: true                        │
│             Parts: 1/1                             │
│             Granules: 12/12                        │
└────────────────────────────────────────────────────┘

*обратите внимание, что чтение выполняется из db1.table1_projections

7. Проверьте чтение из PROJECTION, используя column2 в предложении WHERE

clickhouse-cloud :) explain indexes = 1 
                    SELECT * from db1.table1_projections where column2 > 50;

EXPLAIN indexes = 1
SELECT *
FROM db1.table1_projections
WHERE column2 > 50

Query id: d2b20e01-93bf-4b60-a370-4aac7b454267

┌─explain─────────────────────────────────────┐
│ Expression ((Projection + Before ORDER BY)) │
│   Filter                                    │
│     ReadFromMergeTree (for_column2)         │
│     Indexes:                                │
│       PrimaryKey                            │
│         Keys:                               │
│           column2                           │
│         Condition: (column2 in [51, +Inf))  │
│         Parts: 1/1                          │
│         Granules: 6/12                      │
└─────────────────────────────────────────────┘

*обратите внимание, что теперь используется PROJECTION for_column2.

Подробнее

PROJECTION: https://clickhouse.com/docs/sql-reference/statements/alter/projection

Табличная функция numbers: https://clickhouse.com/docs/sql-reference/table-functions/numberss

Блог о создании случайных данных: https://clickhouse.com/blog/generating-random-test-distribution-data-for-clickhouse