View normal
View parametrizada
Visão materializada
OR REPLACE e IF NOT EXISTS são mutuamente excludentes: usá-los em conjunto resulta em erro de sintaxe.
CREATE OR REPLACE MATERIALIZED VIEW
CREATE OR REPLACE MATERIALIZED VIEW substitui atomicamente uma VIEW materializada existente e sua tabela de armazenamento interna (se houver). A operação requer um motor de banco de dados Atomic ou Replicated.
- Sem a cláusula
TO: a tabela interna antiga é excluída e uma nova é criada. Os dados existentes na tabela interna são perdidos, a menos quePOPULATEseja especificado. - Com a cláusula
TO: apenas a definição da VIEW é substituída; a tabela de destino e seus dados permanecem inalterados. - Compatível com
REFRESH,ON CLUSTERe todas as opções de motor.POPULATEé suportado apenas em bancos de dadosAtomic— ele é rejeitado em bancos de dadosReplicated(veja a observação sobrePOPULATEabaixo). - Requer os privilégios
CREATE VIEWeDROP VIEW.
CREATE OR REPLACE MATERIALIZED VIEW é suportado apenas com os motores de banco de dados Atomic ou Replicated. Não é compatível com o motor de banco de dados Ordinary.TO [db].[table], você deve especificar ENGINE — o motor de tabela usado para armazenar os dados.
Ao criar uma VIEW materializada com TO [db].[table], você também não pode usar POPULATE.
Uma VIEW materializada é implementada da seguinte forma: ao inserir dados na tabela especificada em SELECT, parte dos dados inseridos é transformada por essa consulta SELECT, e o resultado é inserido na VIEW.
VIEWs materializadas no ClickHouse usam nomes de colunas em vez da ordem das colunas durante a inserção na tabela de destino. Se alguns nomes de colunas não estiverem presentes no resultado da consulta
SELECT, o ClickHouse usará um valor padrão, mesmo que a coluna não seja Nullable. Uma prática segura é adicionar aliases para todas as colunas ao usar VIEWs materializadas.VIEWs materializadas no ClickHouse funcionam mais como gatilhos de inserção. Se houver alguma agregação na consulta da VIEW, ela será aplicada apenas ao lote de dados recém-inseridos. Quaisquer alterações nos dados existentes da tabela de origem (como update, delete, drop partition etc.) não alteram a VIEW materializada.VIEWs materializadas no ClickHouse não têm comportamento determinístico em caso de erro. Isso significa que os blocos que já tiverem sido gravados serão preservados na tabela de destino, mas todos os blocos após o erro não serão.Por padrão, se o envio para uma das VIEWs gerar uma exceção, a consulta INSERT falhará. Não há garantia de que o bloco já tenha chegado à tabela de origem nesse ponto — isso depende do momento em que o pipeline de inserção estava, não do erro da VIEW. Tente novamente o INSERT com falha com desduplicação de inserção (insert_deduplicate, deduplicate_blocks_in_dependent_materialized_views) para obter entrega exactly-once para a tabela de origem e todas as VIEWs dependentes.Definir materialized_views_ignore_errors=true na consulta INSERT altera apenas o relatório de erros: cada erro de VIEW é registrado como um aviso e a consulta INSERT é bem-sucedida. A entrega ao destino da VIEW com falha é parcial — os blocos processados antes da exceção são mantidos, e o bloco com falha mais quaisquer blocos subsequentes são descartados dessa VIEW. As VIEWs a jusante desse destino veem apenas os blocos que realmente chegaram, então a entrega delas também é parcial. As VIEWs irmãs (e suas cadeias a jusante) que não geraram exceção são gravadas integralmente, e a tabela de origem é gravada como de costume. Como o INSERT informa sucesso, o cliente não recebe nenhum sinal de falha e nenhuma nova tentativa automática é acionada; use essa configuração apenas quando gravações na tabela de origem não puderem ser bloqueadas por problemas no lado da VIEW (por exemplo, tabelas system.*_log).materialized_views_ignore_errors é true por padrão para tabelas system.*_log.POPULATE, os dados existentes da tabela serão inseridos na VIEW no momento da criação, como se fosse executado um CREATE TABLE ... AS SELECT .... Caso contrário, a consulta conterá apenas os dados inseridos na tabela após a criação da VIEW. Não recomendamos usar POPULATE, pois os dados inseridos na tabela durante a criação da VIEW não serão inseridos nela.
Como
POPULATE funciona como CREATE TABLE ... AS SELECT ..., ele tem algumas limitações:- Não é compatível com banco de dados Replicated
- Não é compatível com ClickHouse Cloud
INSERT ... SELECT separado.SELECT pode conter DISTINCT, GROUP BY, ORDER BY, LIMIT. Observe que as transformações correspondentes são realizadas de forma independente em cada bloco de dados inseridos. Por exemplo, se GROUP BY estiver definido, os dados serão agregados durante a inserção, mas apenas dentro de um único pacote de dados inseridos. Os dados não serão agregados posteriormente. A exceção é ao usar um ENGINE que realiza agregação de dados por conta própria, como SummingMergeTree.
Se a VIEW materializada usar a construção TO [db.]name, você pode fazer DETACH da VIEW, executar ALTER na tabela de destino e, em seguida, fazer ATTACH da VIEW previamente desanexada (DETACH).
Observe que a VIEW materializada é influenciada pela configuração optimize_on_insert. Os dados são mesclados antes de serem inseridos na VIEW.
As VIEWs têm a mesma aparência das tabelas normais. Por exemplo, elas são listadas no resultado da consulta SHOW TABLES.
Para excluir uma VIEW, use DROP VIEW. Embora DROP TABLE também funcione para VIEWs.
Segurança SQL
DEFINER e SQL SECURITY permitem especificar qual usuário do ClickHouse deve ser usado ao executar a consulta subjacente da visão.
SQL SECURITY tem três valores válidos: DEFINER, INVOKER ou NONE. Você pode especificar qualquer usuário existente ou CURRENT_USER na cláusula DEFINER.
A tabela a seguir mostra quais permissões são necessárias para cada usuário ao consultar uma visão.
Observe que, independentemente da opção de segurança SQL, em todos os casos ainda é necessário ter GRANT SELECT ON <view> para poder lê-la.
| Opção de segurança SQL | Visão | Visão materializada |
|---|---|---|
DEFINER alice | alice deve ter o privilégio SELECT na tabela de origem da visão. | alice deve ter o privilégio SELECT na tabela de origem da visão e o privilégio INSERT na tabela de destino da visão. |
INVOKER | O usuário deve ter o privilégio SELECT na tabela de origem da visão. | SQL SECURITY INVOKER não pode ser especificado para visões materializadas. |
NONE | - | - |
SQL SECURITY NONE é uma opção obsoleta. Qualquer usuário com permissões para criar visões com SQL SECURITY NONE poderá executar qualquer consulta arbitrária.
Portanto, é necessário ter GRANT ALLOW SQL SECURITY NONE TO <user> para criar uma visão com essa opção.DEFINER/SQL SECURITY não forem especificados, os valores padrão serão usados:
SQL SECURITY:INVOKERpara views normais eDEFINERpara visões materializadas (configurável por configurações)DEFINER:CURRENT_USER(configurável por configurações)
DEFINER/SQL SECURITY especificados, o valor padrão será SQL SECURITY NONE para a visão materializada e SQL SECURITY INVOKER para a view normal.
Para alterar a segurança SQL de uma visão existente, use
Exemplos
Visualização em tempo real
VIEW materializada atualizável
interval é uma sequência de intervalos simples:
REFRESH deve especificar pelo menos um de EVERY, AFTER ou DEPENDS ON. REFRESH isolado (sem nenhum deles) é rejeitado. REFRESH DEPENDS ON ... sem EVERY/AFTER é uma forma abreviada de REFRESH AFTER 0 SECOND DEPENDS ON ...; veja Dependências de atualização abaixo.
Executa periodicamente a consulta correspondente e armazena o resultado em uma tabela.
- Se
APPENDfor especificado, cada atualização insere linhas na tabela sem excluir as já existentes. A inserção não é atômica, assim como em uma consultaINSERT INTO ... SELECTcomum. - Caso contrário, cada atualização substitui atomicamente o conteúdo anterior da tabela.
- Não há gatilho de inserção. Quando novos dados são inseridos na tabela especificada em
SELECT, eles não são enviados automaticamente para a VIEW materializada atualizável. Em vez disso, a inserção de dados ocorre apenas durante execuções de atualização periódicas ou manuais. - Não há restrições para a consulta
SELECT. Funções de tabela (por exemplo,url()), VIEWs, UNION e JOIN são permitidos.
As configurações na parte
REFRESH ... SETTINGS da consulta são configurações de atualização (por exemplo, refresh_retries), distintas das configurações comuns (por exemplo, max_threads). As configurações comuns podem ser especificadas com SETTINGS no final da consulta.Programação de atualização
RANDOMIZE FOR ajusta aleatoriamente o momento de cada atualização, por exemplo:
REFRESH EVERY 1 MINUTE levar 2 minutos para ser atualizada, ela simplesmente passará a ser atualizada a cada 2 minutos. Se depois ficar mais rápida e passar a ser atualizada em 10 segundos, voltará a ser atualizada a cada minuto. (Em particular, ela não será atualizada a cada 10 segundos para compensar um acúmulo de atualizações perdidas — esse acúmulo não existe.)
Normalmente, a primeira atualização é iniciada imediatamente após a criação da VIEW materializada: o tempo desde a última atualização é infinito, então qualquer agendamento indica que é hora de atualizar agora. Se EMPTY for especificado, essa atualização inicial será ignorada, e a primeira atualização ocorrerá no próximo horário agendado; por exemplo, para EVERY 1 HOUR, a primeira atualização ocorrerá no fim da hora atual.
Em banco de dados Replicated
APPEND, a coordenação pode ser desativada com SETTINGS all_replicas = 1. Isso faz com que as réplicas executem as atualizações de forma independente. Nesse caso, o ReplicatedMergeTree não é necessário.
No modo sem APPEND, apenas a atualização coordenada é compatível. Para atualização não coordenada, use o banco de dados Atomic e a consulta CREATE ... ON CLUSTER para criar visões materializadas atualizáveis em todas as réplicas.
A coordenação é feita por meio do Keeper. O caminho do znode é determinado pela configuração do servidor default_replica_path.
Dependências de atualização
DEPENDS ON sincroniza as atualizações de diferentes tabelas:
DEPENDS ON funciona apenas entre VIEWs materializadas atualizáveis. Em particular, se a VIEW de dependência usar TO <table>, certifique-se de usar o nome da VIEW, e não o da tabela. Se a lista de DEPENDS ON contiver uma tabela comum, uma VIEW não atualizável ou um erro de digitação, a VIEW nunca será atualizada e exibirá o estado MissingDependencies em system.view_refreshes. As dependências podem ser alteradas ou removidas com ALTER; consulte Alterando os parâmetros de atualização.Usando DEPENDS ON para manter a latência de propagação consistente
REFRESH EVERY com o mesmo período, a dependência será aplicada em cada intervalo de tempo.
Por exemplo, suponha que as VIEWs X e Y usem REFRESH EVERY 1 HOUR e que Y leia da tabela de saída de X. Sem dependências, Y normalmente veria os dados da atualização de X da hora anterior. Com DEPENDS ON X, a atualização das 11:00 de Y só começará depois que a atualização das 11:00 de X for concluída.
Usando DEPENDS ON para processamento em lote de streams
REFRESH EVERY não for usado, a VIEW dependente X será atualizada se todas as suas dependências tiverem sido atualizadas pelo menos uma vez desde a última atualização de X. REFRESH AFTER T adiciona um atraso: a dependente iniciará a atualização T unidades de tempo após a dependência concluir uma atualização.
Dependências circulares são permitidas e úteis. Considere este grafo de VIEWs materializadas atualizáveis:
- X pega um lote de linhas de algum stream e as coloca em uma tabela.
- Em seguida, Y e Z leem dessa tabela, fazem agregações diferentes e acrescentam os resultados a outras tabelas.
- Depois que o lote for totalmente processado, X pega o próximo lote, e o ciclo se repete.
SYSTEM REFRESH VIEW manual após cada reinicialização, em vez de apenas uma vez após a criação das VIEWs.
Configurações de atualização
refresh_retries- Quantas vezes tentar novamente se a consulta de atualização falhar com uma exceção. Se todas as tentativas falharem, a atualização será adiada para o próximo horário agendado. 0 significa nenhuma tentativa adicional; -1 significa tentativas infinitas. Padrão: 2.refresh_retry_initial_backoff_ms- Atraso antes da primeira tentativa de repetição, serefresh_retriesnão for zero. Cada nova tentativa dobra esse atraso, atérefresh_retry_max_backoff_ms. Padrão: 100 ms.refresh_retry_max_backoff_ms- Limite para o crescimento exponencial do atraso entre tentativas de atualização. Padrão: 60000 ms (1 minuto).all_replicas- Em um banco de dados Replicated comAPPEND, controla se todas as réplicas são atualizadas de forma independente ou se apenas uma réplica é atualizada em cada horário agendado. Não pode ser alterado após a criação da VIEW. Padrão:false.
Alterando os parâmetros de atualização
ALTER TABLE ... MODIFY REFRESH:
EVERY ou AFTER) é obrigatório: a instrução sempre substitui todos os parâmetros de atualização — agendamento, RANDOMIZE FOR, DEPENDS ON e configurações de atualização — pelos valores especificados. Tudo o que for omitido é redefinido para o valor padrão (configurações) ou removido (dependências, aleatorização).
-
Para alterar apenas as configurações de atualização (por exemplo,
refresh_retries), repita o agendamento atual: -
ALTER TABLE ... MODIFY SETTING refresh_retries = ...não tem suporte em visões materializadas; é preciso usarMODIFY REFRESH. -
Não há suporte para adicionar ou remover
APPEND. -
A configuração
all_replicasnão pode ser alterada após a criação.
Outras operações
system.view_refreshes. Ela contém, em particular, o progresso da atualização (se estiver em execução), os horários da última e da próxima atualização e a mensagem de exceção caso uma atualização falhe.
Para interromper, iniciar, disparar ou cancelar atualizações manualmente, use SYSTEM STOP|START|REFRESH|WAIT|CANCEL VIEW.
Para aguardar a conclusão de uma atualização, use SYSTEM WAIT VIEW. Isso é útil, em particular, para aguardar a atualização inicial após criar uma view.
Curiosidade: a consulta de atualização pode ler da view que está sendo atualizada, visualizando a versão dos dados anterior à atualização. Isso significa que você pode implementar o jogo da vida de Conway: https://pastila.nl/?00021a4b/d6156ff819c83d490ad2dcec05676865#O0LGWTO7maUQIA4AcGUtlA==
Window View
Este é um recurso experimental que pode mudar de forma incompatível com versões anteriores em versões futuras. Ative o uso de window views e da consulta
WATCH com a configuração allow_experimental_window_view. Digite o comando set allow_experimental_window_view = 1.MATERIALIZED VIEW. A window view precisa de um mecanismo de armazenamento interno para armazenar dados intermediários. O armazenamento interno pode ser especificado usando a cláusula INNER ENGINE; a window view usará AggregatingMergeTree como mecanismo interno padrão.
Ao criar uma window view sem TO [db].[table], você deve especificar ENGINE — o motor de tabela para armazenar dados.
Funções de janela de tempo
ATRIBUTOS DE TEMPO
time_attr da função de janela temporal como uma coluna da tabela ou usando a função now(). A consulta a seguir cria uma window view com tempo de processamento.
WATERMARK.
A window view fornece três estratégias de watermark:
STRICTLY_ASCENDING: Emite um watermark com o timestamp máximo observado até o momento. Linhas com timestamp menor que o timestamp máximo não são consideradas tardias.ASCENDING: Emite um watermark com o timestamp máximo observado até o momento menos 1. Linhas com timestamp igual ou menor que o timestamp máximo não são consideradas tardias.BOUNDED: WATERMARK=INTERVAL. Emite watermarks, que correspondem ao timestamp máximo observado menos o atraso especificado.
WATERMARK:
ALLOWED_LATENESS=INTERVAL. Um exemplo de tratamento de atraso é:
SELECT especificada na window view usando a instrução ALTER TABLE ... MODIFY QUERY. A estrutura de dados resultante da nova consulta SELECT deve ser a mesma da consulta SELECT original, com ou sem a cláusula TO [db.]name. Observe que os dados na janela atual serão perdidos, porque o estado intermediário não pode ser reutilizado.
Monitorando novas janelas
TO para enviar os resultados para uma tabela.
LIMIT para definir o número de atualizações a serem recebidas antes de encerrar a consulta. A cláusula EVENTS pode ser usada para obter uma forma abreviada da consulta WATCH, na qual, em vez do resultado da consulta, você receberá apenas o watermark mais recente da consulta.
Configurações
window_view_clean_interval: O intervalo de limpeza da window view, em segundos, para liberar dados obsoletos. O sistema manterá as janelas que ainda não tiverem sido totalmente acionadas, de acordo com o tempo do sistema ou com a configuração deWATERMARK, e os demais dados serão excluídos.window_view_heartbeat_interval: O intervalo de heartbeat, em segundos, para indicar que a consulta watch está ativa.wait_for_window_view_fire_signal_timeout: Tempo limite de espera pelo sinal de acionamento da window view no processamento de tempo de evento.
Exemplo
data, e que a estrutura da tabela seja:
WATCH para obter os resultados.
data,
WATCH deve exibir os resultados da seguinte forma:
TO.
*window_view*).
Uso de Window View
- Monitoramento: Agrega e calcula métricas a partir dos logs ao longo do tempo e envia os resultados para uma tabela de destino. O dashboard pode usar a tabela de destino como tabela de origem.
- Análise: Agrega e pré-processa automaticamente os dados em uma janela de tempo. Isso pode ser útil ao analisar um grande volume de logs. O pré-processamento elimina cálculos repetidos em várias consultas e reduz a latência das consultas.
- Blog: Trabalhando com dados de séries temporais no ClickHouse
- Blog: Criando uma solução de observabilidade com ClickHouse - Parte 2 - Traces
Views temporárias
- Duração da sessão Uma view temporária existe apenas durante a sessão atual. Ela é removida automaticamente quando a sessão termina.
- Sem banco de dados Você não pode qualificar uma view temporária com o nome de um banco de dados. Ela existe fora dos bancos de dados (espaço de nomes da sessão).
-
Não replicado / sem ON CLUSTER
Objetos temporários são locais à sessão e não podem ser criados com
ON CLUSTER. - Resolução de nomes Se um objeto temporário (tabela ou view) tiver o mesmo nome de um objeto persistente e uma consulta referenciar esse nome sem um banco de dados, o objeto temporário será usado.
-
Objeto lógico (sem armazenamento)
Uma view temporária armazena apenas o texto do seu
SELECT(usa internamente o armazenamentoView). Ela não persiste dados e não aceitaINSERT. -
Cláusula de engine
Você não precisa especificar
ENGINE; se ele for informado comoENGINE = View, será ignorado/tratado como a mesma view lógica. -
Segurança / privilégios
Criar uma view temporária exige o privilégio
CREATE TEMPORARY VIEW, que é concedido implicitamente porCREATE VIEW. -
SHOW CREATE
Use
SHOW CREATE TEMPORARY VIEW view_name;para exibir o DDL de uma view temporária.
Sintaxe
OR REPLACE não tem suporte para views temporárias (para manter a consistência com as tabelas temporárias). Se você precisar “substituir” uma view temporária, exclua-a e crie-a novamente.
Exemplos
Não permitidos / limitações
CREATE OR REPLACE TEMPORARY VIEW ...→ não permitido (useDROP+CREATE).CREATE TEMPORARY MATERIALIZED VIEW .../WINDOW VIEW→ não permitido.CREATE TEMPORARY VIEW db.view AS ...→ não permitido (sem qualificador de banco de dados).CREATE TEMPORARY VIEW view ON CLUSTER 'name' AS ...→ não permitido (objetos temporários são locais da sessão).POPULATE,REFRESH,TO [db.table], motores internos e todas as cláusulas específicas de MV → não se aplicam a visões temporárias.
Notas sobre consultas distribuídas
Memory), os dados delas podem ser enviados a servidores remotos durante a execução de consultas distribuídas, da mesma forma que acontece com as tabelas temporárias.