Tamanho da tabela no Azure Databricks

O tamanho da tabela relatado para as tabelas Delta Lake e Apache Iceberg difere do tamanho total dos diretórios de arquivos correspondentes no armazenamento de objetos de nuvem. Esses formatos de dados retêm versões anteriores de arquivos de dados para permitir consultas de viagem no tempo. Os arquivos de dados só são removidos quando VACUUM é executado depois que o limite de retenção é ultrapassado. Veja Remova arquivos de dados não utilizados usando o vacuum.

Por que o tamanho da tabela difere do tamanho do diretório

Os tamanhos de tabela informados no Azure Databricks nas interfaces de usuário e nos comandos DESCRIBE referem-se ao tamanho total dos arquivos de dados armazenados que são referenciados pela versão atual da tabela. A maioria das operações que gravam em tabelas exige reescrita de arquivos de dados subjacentes e retém arquivos de dados antigos para permitir consultas de viagem no tempo.

Calcular as métricas de armazenamento para uma tabela

Aplica-se a: Databricks Runtime 18.0 e versões superiores

Para entender por que o tamanho total do armazenamento é diferente do tamanho da tabela, use ANALYZE TABLE … COMPUTE STORAGE METRICS. Este comando mostra uma divisão detalhada da alocação de armazenamento, ajudando você a:

• Identificar oportunidades de otimização de custo: veja a quantidade de armazenamento que pode ser recuperada com VACUUM
• Analisar a sobrecarga de viagem no tempo: entender o custo de retenção de dados históricos
• Acompanhamento de padrões de armazenamento: Monitorar como o armazenamento de tabela evolui ao longo do tempo executando o comando periodicamente
• Auditar o armazenamento entre tabelas: execute o comando em um loop para analisar todo o seu patrimônio de dados

O comando retorna métricas abrangentes, incluindo:

• Tamanho total do armazenamento: volume completo, incluindo todos os dados, metadados e logs
• Dados ativos: tamanho da versão da tabela atual
• Dados passíveis de descarte: espaço que pode ser recuperado
• Dados de viagem no tempo: dados históricos para reversões

Isso é particularmente valioso para tabelas gerenciadas do Catálogo do Unity em que o Azure Databricks gerencia automaticamente o armazenamento por meio da otimização preditiva.

Veja ... MÉTRICAS DE ARMAZENAMENTO DE COMPUTAÇÃO para a sintaxe completa e os exemplos.

Usar a otimização preditiva para controlar o tamanho dos dados

O Databricks recomenda usar tabelas gerenciadas do Catálogo do Unity com otimização preditiva habilitada. Com tabelas gerenciadas e otimização preditiva, o Databricks executa OPTIMIZE e VACUUM comanda automaticamente para impedir o acúmulo de arquivos de dados não utilizados. Espere sempre haver uma diferença de tamanho entre a versão atual de uma tabela e o tamanho total dos arquivos de dados no armazenamento de objetos na nuvem. Os arquivos de dados não referenciados na versão atual são necessários para dar suporte a consultas de viagem no tempo. Consulte Otimização preditiva para tabelas gerenciadas do Catálogo do Unity.

VACUUM métricas de armazenamento

Ao limpar arquivos de dados não utilizados com VACUUM ou ao usar DRY RUN para visualizar os arquivos definidos para remoção, as métricas relatam o número de arquivos e o tamanho dos dados removidos. O tamanho e o número de arquivos removidos por VACUUM varia drasticamente, mas é comum que o tamanho dos arquivos removidos exceda o tamanho total da versão atual da tabela.

OPTIMIZE métricas de armazenamento

Quando OPTIMIZE é executado em uma tabela de destino, novos arquivos de dados combinam registros de arquivos de dados existentes. As alterações efetuadas durante OPTIMIZE afetam apenas a organização dos dados e não alteram o conteúdo dos dados subjacentes. O tamanho total dos arquivos de dados subjacentes à tabela aumenta após a execução de OPTIMIZE, porque os novos arquivos compactados coexistem, no diretório que os contém, com os arquivos de dados antigos não otimizados.

O tamanho da tabela relatado após a execução de OPTIMIZE geralmente é menor do que o tamanho antes de OPTIMIZE ser executado, porque o tamanho total dos arquivos de dados referenciados pela versão atual da tabela diminui com a compactação dos dados. Para remover os arquivos de dados subjacentes, VACUUM deve ser executado após o vencimento do período de retenção.