Tabelas e exibições no Azure Databricks

Tabelas, exibições, exibições materializadas e tabelas de streaming são os principais objetos de dados para engenharia de dados em Azure Databricks, cada uma com diferentes comportamentos de armazenamento e atualização.

Tabela

Uma tabela é um conjunto de dados estruturado armazenado em um local específico. O tipo de tabela padrão criado no Azure Databricks é uma tabela gerenciada do Catálogo do Unity. As tabelas podem ser consultadas e manipuladas usando comandos SQL ou APIs DataFrame, dando suporte a operações como INSERT, UPDATEe DELETEMERGE INTO. Confira as tabelas do Azure Databricks

Visualizar

Uma exibição é uma tabela virtual definida por uma consulta que não armazena dados e pode apresentar dados de uma ou mais tabelas em um formato ou abstração específico. As exibições são úteis para simplificar consultas complexas, encapsular a lógica de negócios e fornecer uma interface consistente para os dados subjacentes sem duplicar o armazenamento. Consulte O que é uma exibição?

Visão materializada

Semelhante a uma exibição, uma exibição materializada é definida por uma consulta. No entanto, ao contrário de uma exibição, uma exibição materializada pré-compila e armazena o resultado da consulta. As consultas podem ser executadas mais rapidamente nas exibições materializadas do que nas exibições, mas ocupam armazenamento extra. Você pode usar o DATAbricks SQL para criar e atualizar uma exibição materializada autônoma ou usar o Lakeflow Spark Declarative Pipelines para criar e atualizar uma ou mais exibições materializadas, tabelas de streaming e exibições. Consulte Usar visualizações materializadas independentes e Visualizações materializadas.

Tabela de streaming

Uma tabela de streaming é um tipo de tabela gerenciada do Catálogo do Unity que inclui a lógica de processamento usando fluxos para defini-la. Você pode usar o SQL do Databricks para criar e atualizar uma tabela de streaming autônoma ou usar Pipelines Declarativos do Lakeflow Spark para criar e atualizar uma ou mais tabelas de streaming, exibições materializadas e exibições. Consulte Como usar tabelas de streaming autônomas e Tabelas de streaming.

Exibição materializada versus tabela de streaming

Exibições materializadas e tabelas de streaming são dois objetos de dados comuns usados para engenharia de dados. Visões materializadas usam semânticas de lote e tabelas de streaming usam semânticas de fluxo. Para obter uma comparação entre o lote e o streaming e considerações sobre como escolhê-las para suas cargas de trabalho de engenharia de dados, consulte Lote versus processamento de dados de streaming no Azure Databricks.