Limitações do oleoduto

A seguir estão as limitações dos Lakeflow Spark Declarative Pipelines que é importante saber ao desenvolver seus pipelines:

• Um espaço de trabalho Azure Databricks está limitado a 1000 atualizações simultâneas do pipeline. O número de conjuntos de dados que um único pipeline pode conter é determinado pela configuração do pipeline e pela complexidade da carga de trabalho.

• A configuração de um pipeline inclui referências a ficheiros fonte e pastas.

  • Se a configuração referenciar apenas cadernos ou ficheiros individuais, o limite por pipeline é de 100 ficheiros fonte.

  • Se a configuração incluir pastas, pode incluir até 50 entradas de origem compostas por ficheiros ou pastas.

    Referenciar uma pasta refere indiretamente os ficheiros dentro dessa pasta. Neste caso, o limite para o número de ficheiros referenciados (direta ou indiretamente) é 1000.

  Se precisares de mais de 100 ficheiros fonte, organiza-os em pastas. Para aprender a usar pastas para conter ficheiros fonte, consulte o Pipeline asset browser no editor de pipeline Lakeflow.

• Os conjuntos de dados de pipeline podem ser definidos apenas uma vez. Por isso, eles podem ser alvo de apenas uma única operação em todos os gasodutos. A exceção são as tabelas de streaming com processamento de fluxo de acréscimo, que permite gravar na tabela de streaming a partir de várias fontes de streaming. Consulte fluxos predefinidos e fluxos acrescentados.

• As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade em tabelas Delta, veja Colunas de Identidade.

  • As colunas de identidade não são suportadas com tabelas que são o alvo do processamento AUTO CDC.
  • As colunas de identidade podem ser recalculadas durante as atualizações de uma vista materializada. Por este motivo, o Databricks recomenda utilizar colunas de identidade em pipelines exclusivamente com tabelas de streaming.

• Por defeito, as visualizações materializadas e as tabelas de streaming só podem ser acedidas pelos clientes e aplicações do Azure Databricks. Para as tornar acessíveis a sistemas externos, veja as visualizações materializadas do Access e as tabelas de streaming usando sistemas externos.

• Há limitações para os recursos de computação do Databricks necessários para executar e consultar pipelines do Unity Catalog. Consulte os Requisitos para pipelines que publicam no Unity Catalog.

• As consultas de viagem no tempo do Delta Lake são suportadas apenas por tabelas de streaming e não são suportadas por visualizações materializadas. Ver Trabalho com histórico de tabelas.

• A pivot() função não é suportada. A operação pivot no Spark requer o carregamento ansioso de dados de entrada para calcular o esquema de saída. Essa funcionalidade não é suportada em pipelines.

Para quotas de recursos dos Lakeflow Spark Declarative Pipelines, consulte Limites de recursos.