Limitações de pipeline

Veja a seguir as limitações dos Pipelines Declarativos do Lakeflow Spark que são importantes para saber à medida que você desenvolve seus pipelines:

• Um workspace do Azure Databricks é limitado a 1000 atualizações simultâneas de pipeline. O número de conjuntos de dados que um único pipeline pode conter é determinado pela configuração do pipeline e pela complexidade da carga de trabalho.

• A configuração de um pipeline inclui referências a arquivos e pastas de origem.

  • Se a configuração fizer referência apenas a notebooks ou arquivos individuais, o limite por pipeline será de 100 arquivos de origem.

  • Se a configuração incluir pastas, você poderá incluir até 50 entradas de origem compostas por arquivos ou pastas.

    Referenciar uma pasta indiretamente faz referência aos arquivos dentro dessa pasta. Nesse caso, o limite no número de arquivos referenciados (direta ou indiretamente) é 1000.

  Se você precisar de mais de 100 arquivos de origem, organize-os em pastas. Para saber como usar pastas para armazenar arquivos-fonte, consulte Navegador de ativos do pipeline no editor de pipelines do Lakeflow.

• Os conjuntos de dados de pipeline podem ser definidos apenas uma vez. Por isso, eles podem ser o alvo de apenas uma única operação em todos os pipelines. A exceção são as tabelas de streaming com processamento de fluxo de acréscimo, que permitem gravar na tabela de streaming de várias fontes de streaming. Consulte fluxos padrão e fluxos de acréscimo.

• As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade em tabelas Delta, consulte colunas de identidade.

  • Colunas de identidade não têm suporte com tabelas que são o destino do processamento de AUTO CDC.
  • As colunas de identidade podem ser recomputadas durante atualizações para exibições materializadas. Por isso, o Databricks recomenda usar colunas de identidade em pipelines apenas com tabelas de streaming.

• Por padrão, exibições materializadas e tabelas de streaming só podem ser acessadas por Azure Databricks clientes e aplicativos. Para torná-los acessíveis a sistemas externos, consulte exibições materializadas do Access e tabelas de streaming usando sistemas externos.

• Existem limitações para a computação do Databricks necessária para executar e consultar os pipelines do Unity Catalog. Confira os Requisitos para pipelines que publicam no Catálogo do Unity.

• As consultas de viagem no tempo do Delta Lake têm suporte apenas com tabelas de streaming e não têm suporte com exibições materializadas. Consulte Trabalhar com o histórico de tabelas.

• Não há suporte para a função pivot(). A operação pivot no Spark requer o carregamento adiantado de dados de entrada para calcular o esquema da saída. Não há suporte para essa funcionalidade em pipelines.

Para cotas de recursos do Lakeflow Spark Declarative Pipelines, consulte os limites de recursos.