Controlar o tamanho do arquivo de dados

Azure Databricks ajusta automaticamente os tamanhos de arquivo para tabelas gerenciadas do Catálogo do Unity. Para tabelas externas e cargas de trabalho herdadas, você pode configurar a compactação automática, gravações otimizadas e tamanhos de arquivo de destino para controlar como os dados são gravados e compactados.

Para tabelas gerenciadas do Catálogo do Unity, o Databricks ajusta a maioria das configurações automaticamente se você estiver usando um SQL Warehouse ou Databricks Runtime 11.3 LTS ou superior.

Se você estiver atualizando uma carga de trabalho do Databricks Runtime 10.4 LTS ou anterior, confira Atualizar para compactação automática em segundo plano.

Quando executar OPTIMIZE

A compactação automática e as gravações otimizadas reduzem os problemas de arquivos pequenos, mas não substituem totalmente o OPTIMIZE. Para tabelas maiores que 1 TB, o Databricks recomenda a execução de OPTIMIZE regularmente para consolidar ainda mais os arquivos. O Databricks recomenda o clustering líquido para aprimorar a omissão de dados. Quando a agrupação líquida é habilitada, OPTIMIZE reorganiza automaticamente os dados pelas chaves de agrupamento. Consulte Usar clustering líquido para tabelas.

Para tabelas gerenciadas do Catálogo do Unity, a otimização preditiva é executada OPTIMIZE automaticamente em tabelas com otimização preditiva habilitada.

Otimização automática

A otimização automática descreve as configurações autoOptimize.autoCompact e autoOptimize.optimizeWrite. Consulte compactação automática e gravações otimizadas.

Compactação automática

A compactação automática combina arquivos pequenos em partições de tabela para reduzir pequenos problemas de arquivo. Ele é executado de forma síncrona no cluster que executa a gravação, depois que a gravação é bem-sucedida e compacta apenas arquivos que não foram compactados anteriormente.

Compactação automática e otimização preditiva são recursos independentes que podem ser usados separadamente ou juntos. A compactação automática é executada no cluster executando a gravação, enquanto a otimização preditiva executa operações de manutenção de forma assíncrona usando a computação sem servidor.

Use as seguintes configurações para configurar a compactação automática:

Essas configurações aceitam as opções a seguir:

Gravações otimizadas

As gravações otimizadas melhoram o tamanho do arquivo à medida que os dados são gravados e beneficiam leituras subsequentes na tabela.

Gravações otimizadas são mais eficientes para tabelas particionadas, pois reduzem o número de pequenos arquivos gravados em cada partição. Gravar menos arquivos grandes é mais eficiente do que gravar muitos arquivos pequenos, mas você ainda pode ver um aumento na latência de gravação porque os dados são misturados antes de serem gravados.

A imagem a seguir demonstra como funcionam as gravações otimizadas:

As gravações otimizadas são habilitadas por padrão para as seguintes operações:

• MERGE
• UPDATE com subconsultas
• DELETE com subconsultas

As gravações otimizadas também são habilitadas para CTAS instruções e INSERT operações ao usar SQL Warehouses. Na versão 13.3 LTS do Databricks Runtime e posterior, todas as tabelas registradas no Catálogo do Unity têm gravações otimizadas habilitadas para instruções CTAS e operações INSERT para tabelas particionadas.

As gravações otimizadas podem ser habilitadas no nível da tabela ou da sessão usando as configurações a seguir:

• Propriedade da tabela: autoOptimize.optimizeWrite
• Configuração de SparkSession: spark.databricks.delta.optimizeWrite.enabled (Delta) ou spark.databricks.iceberg.optimizeWrite.enabled (Iceberg)

Essas configurações aceitam as opções a seguir:

Definir o tamanho de um arquivo de destino

Para ajustar o tamanho dos arquivos em sua tabela, defina a propriedadetargetFileSize da tabela como o tamanho desejado. Quando definida, todas as operações de otimização do layout de dados fazem o possível para gerar arquivos do tamanho especificado, incluindo optimize, liquid clustering, auto compaction e optimized writes.

Para tabelas existentes, você pode definir e remover a definição de propriedades usando o comando SQL ALTER TABLESET TBL PROPERTIES. Você também pode definir essas propriedades automaticamente durante a criação de novas tabelas com as configurações de sessão do Spark. Consulte a referência de propriedades da tabela para obter detalhes.

Ajuste automático do tamanho do arquivo com base no tamanho da tabela

Para minimizar o ajuste manual, Azure Databricks ajusta automaticamente o tamanho do arquivo de tabelas com base no tamanho da tabela. Azure Databricks usa tamanhos de arquivo menores para tabelas menores e tamanhos de arquivo maiores para tabelas maiores para que o número de arquivos na tabela não cresça muito grande. Azure Databricks não ajusta automaticamente as tabelas que você ajustou com um tamanho de destino específico.

O tamanho do arquivo de destino é baseado no tamanho atual da tabela. Para tabelas menores que 2,56 TB, o tamanho do arquivo de destino ajustado automaticamente é 256 MB. Para tabelas com um tamanho entre 2,56 TB e 10 TB, o tamanho de destino aumenta linearmente de 256 MB para 1 GB. Para tabelas maiores que 10 TB, o tamanho do arquivo de destino é 1 GB.

Quando uma tabela for gravada incrementalmente, os tamanhos do arquivo de destino e as contagens de arquivo terão aproximadamente os valores a seguir com base no tamanho da tabela. As contagens de arquivos na tabela são apenas um exemplo. Os resultados reais serão diferentes, dependendo de vários fatores.

Limitar as linhas gravadas em um arquivo de dados

Ocasionalmente, tabelas com dados estreitos podem ter um erro em que o número de linhas em um determinado arquivo de dados excede os limites de suporte do formato Parquet. Para evitar esse erro, você pode usar a configuração spark.sql.files.maxRecordsPerFile de sessão SQL para especificar o número máximo de registros a serem gravados em um único arquivo para uma tabela. Especificar um valor de zero ou um valor negativo não representa nenhum limite.

Você também pode usar a opção maxRecordsPerFile do DataFrameWriter ao usar as APIs de DataFrame para gravar em uma tabela. Quando maxRecordsPerFile é especificado, o valor de configuração spark.sql.files.maxRecordsPerFile da sessão SQL é ignorado.

Atualizar para compactação automática em segundo plano

A compactação automática em segundo plano está disponível para tabelas gerenciadas do Unity Catalog. A compactação automática em segundo plano não requer otimização preditiva. Ao migrar uma carga de trabalho ou tabela herdada, faça o seguinte:

1. Remova a configuração de Spark spark.databricks.delta.autoCompact.enabled (Delta) ou spark.databricks.iceberg.autoCompact.enabled (Iceberg) de definições de configuração de cluster ou notebook.
2. Para cada tabela, execute ALTER TABLE <table_name> UNSET TBLPROPERTIES (delta.autoOptimize.autoCompact) (Delta) ou ALTER TABLE <table_name> UNSET TBLPROPERTIES (iceberg.autoOptimize.autoCompact) (Iceberg) para remover qualquer configuração de compactação automática herdada.

Depois de remover essas configurações herdadas, a compactação automática em segundo plano é disparada automaticamente para todas as tabelas gerenciadas do Catálogo do Unity.