Podagem de arquivos dinâmica

A eliminação dinâmica de arquivos pode melhorar significativamente o desempenho de muitas consultas em tabelas Delta Lake. O otimizador de consulta aciona a poda dinâmica de arquivos para consultas que contêm instruções de filtragem ou cláusulas WHERE. A remoção dinâmica de arquivos em instruções MERGE, UPDATE e DELETE requer computação com Photon habilitado. Para comandos SELECT, o Photon oferece eliminação dinâmica de arquivos mais ampla e confiável. Sem o Photon, a poda dinâmica de arquivos ainda pode ser aplicada a instruções SELECT, dependendo da estrutura da consulta e do plano de execução.

A remoção de arquivo dinâmico é especialmente eficiente para tabelas não particionadas ou para junções em colunas não particionadas. O efeito de desempenho da poda dinâmica de arquivos geralmente está correlacionado ao agrupamento de dados. Portanto, considere usar "liquid clustering" para maximizar o benefício. Consulte Usar clustering líquido para tabelas.

Para o contexto e os casos de uso da poda dinâmica de arquivos, consulte Consultas SQL mais rápidas no Delta Lake com poda dinâmica de arquivos.

Configuração

A poda de arquivo dinâmico é controlada pelas seguintes opções de configuração do Apache Spark:

• spark.databricks.optimizer.dynamicFilePruning (o padrão é true): o sinalizador principal que direciona o otimizador para pressionar os filtros. Quando definido como false, a poda dinâmica de arquivo não estará em vigor.
• spark.databricks.optimizer.deltaTableSizeThreshold (o padrão é 10,000,000,000 bytes (10 GB)): representa o tamanho mínimo (em bytes) da tabela Delta no lado de sondagem da junção necessário para ativar a poda dinâmica de arquivos. Se o lado da investigação não for muito grande, provavelmente não vale a pena aplicar os filtros e podemos simplesmente examinar toda a tabela. Você pode encontrar o tamanho de uma tabela Delta executando o DESCRIBE DETAIL table_name comando e examinando a sizeInBytes coluna.
• spark.databricks.optimizer.deltaTableFilesThreshold (o padrão é 10): representa o número de arquivos da tabela Delta no lado da investigação da junção exigida para disparar a remoção dinâmica de arquivos. Quando a tabela lateral da investigação contiver menos arquivos do que o valor limite, a remoção dinâmica de arquivos não será disparada. Se uma tabela tiver apenas alguns arquivos, provavelmente não vale a pena habilitar a poda dinâmica de arquivo. Você pode encontrar o tamanho de uma tabela Delta executando o DESCRIBE DETAIL table_name comando e examinando a numFiles coluna.