Notas de versão dos pipelines declarativos do Lakeflow Spark 2026

Os seguintes recursos, melhorias e correções de bug do Lakeflow Spark Declarative Pipelines foram lançados em 2026.

Maio de 2026

Esses recursos e melhorias do Lakeflow Spark Declarative Pipelines foram disponibilizados entre 6 de maio de 2026 e 9 de junho de 2026.

Versões do Databricks Runtime usadas por esta versão

As versões a seguir eram atuais a partir de 9 de junho de 2026.

Canal:

• ATUAL (padrão): Databricks Runtime 17.3
• VERSÃO PRÉVIA: Databricks Runtime 18.1

Novos recursos e melhorias

• AUTO CDC agora dá suporte ao acompanhamento bitemporal, mantendo o tempo do sistema (quando um registro foi armazenado) e o tempo válido (quando era verdadeiro) para cada linha. Isso garante a exatidão em um determinado ponto no tempo para cargas de trabalho financeiras, de auditoria e regulatórias.
• Os fluxos de processamento baseados em Python agora reutilizam ambientes virtuais de atualizações anteriores. REPLs de pool warm pré-carregam ambientes em cache, de modo que dispensam a instalação de dependências quando o ambiente permanece inalterado entre as atualizações. Isso reduz o tempo de inicialização.
• Agora você pode declarar dependências da biblioteca do Python diretamente na definição do pipeline, em vez de usar chamadas %pip install em células do notebook. As dependências são instaladas no ambiente Python no início de uma atualização. Consulte Gerenciar dependências do Python para pipelines.
• Os pipelines que usam clustering líquido automático (CLUSTER BY AUTO) agora descartam automaticamente as colunas de clustering quando elas são removidas do esquema de exibição materializado. Anteriormente, isso exigia uma atualização completa manual.
• Agora você pode alterar o proprietário de uma exibição materializada ou tabela de streaming para uma entidade de serviço com ALTER MATERIALIZED VIEW ou ALTER STREAMING TABLE ... SET OWNER TO. Anteriormente, a propriedade só podia ser alterada por meio do Gerenciador de Catálogos.
• ALTER TABLE ... DROP FEATURE agora é aceito para exibições materializadas e tabelas de streaming.

Correções

• Corrigida uma condição de corrida em que chamadas duplicadas StartUpdate poderiam acionar várias atualizações simultâneas de pipeline. Os tokens de Idempotency agora são validados e armazenados para evitar execuções duplicadas.

Abril de 2026

Esses recursos e melhorias do Lakeflow Spark Declarative Pipelines foram lançados entre 5 de abril de 2026 e 6 de maio de 2026.

Versões do Databricks Runtime usadas por esta versão

As versões a seguir eram atuais a partir de 6 de maio de 2026.

Canal:

• ATUAL (padrão): Databricks Runtime 17.3
• VERSÃO PRÉVIA: Databricks Runtime 18.1

Novos recursos e melhorias

• Exibições materializadas autônomas e tabelas de streaming (anteriormente chamadas de pipelines no Databricks SQL) agora estão disponíveis na computação sem servidor (Beta), permitindo que você crie e gerencie esses objetos sem provisionar clusters de pipeline dedicados. Isso reduz a sobrecarga operacional e o custo para objetos declarativos autônomos.
• Pipelines e tabelas de streaming autônomas agora comportam fluxos REPLACE WHERE (Beta). Os fluxos REPLACE WHERE são adequados para o processamento incremental em lote de junções e agregações. Consulte Processamento em lote com fluxos REPLACE WHERE.
• O processamento SCD Tipo 2 agora omite entradas nulas de mapas de versões durante operações de leitura e gravação, melhorando a eficiência de armazenamento e o desempenho das consultas para cargas de trabalho de dimensões de alteração lenta.

• O editor de SQL do Databricks agora inclui uma habilidade dedicada para criar exibições materializadas, fornecendo assistência guiada e ajuda de sintaxe diretamente no editor. Isso simplifica o fluxo de trabalho para definir e configurar exibições materializadas.
• O editor SQL do Databricks agora inclui o recurso AUTO CDC, que ajuda você a configurar pipelines de CDC (captura de dados de alterações). Isso reduz a curva de aprendizado para configurar pipelines de CDC.

Correções

Nenhuma correção de bug significativa foi incluída neste período de versão. Todas as alterações foram novos recursos e melhorias.

Março de 2026

Esses recursos e melhorias nos Pipelines Declarativos do Lakeflow Spark foram lançados entre 26 de fevereiro de 2026 e 31 de março de 2026.

Versões do Databricks Runtime usadas por esta versão

As versões a seguir eram atuais a partir de 31 de março de 2026.

Canal:

• CORRENTE (padrão): Databricks Runtime 17.3.8
• VERSÃO PRÉVIA: Databricks Runtime 18.1.0

Novos recursos e melhorias

• Os pipelines sem servidor agora dão suporte ao dimensionamento automático vertical baseado em CPU. O recurso ajusta dinamicamente os recursos do cluster com base na utilização real da CPU para melhorar a estabilidade da carga de trabalho.
• Agora você pode manter tabelas do Catálogo do Unity ao excluir um pipeline, preservando seus ativos de dados mesmo após a remoção do pipeline. Isso oferece maior flexibilidade no gerenciamento de ciclos de vida de pipeline sem correr o risco de perda de dados.
• Agora você pode criar tabelas de streaming usando a nova sintaxe de fluxo, que fornece uma maneira mais direta e declarativa de definir pipelines de dados de streaming. Isso simplifica a criação de pipeline e se alinha aos padrões atuais de engenharia de dados.
• Os pipelines agora preservam as configurações de filtro de linha e máscara de coluna durante as atualizações de tabelas, de modo que as políticas de segurança do Unity Catalog permaneçam intactas durante as atualizações dos pipelines. Isso impede a remoção acidental da política de segurança durante a evolução do esquema.
• O recurso de aplicação de alterações do CDC agora comporta o modo de rebase de data e hora. O recurso lida corretamente com conversões de marca temporal entre sistemas de calendário legados e modernos. Isso impede inconsistências de dados ao processar dados históricos de data e hora por meio de fluxos de captura de dados de alteração.
• Agora você pode usar instruções SQL em operações foreachBatch em pipelines de streaming, permitindo uma lógica de processamento de microlote mais flexível. Isso remove as limitações anteriores que exigiam Python ou Scala para manipulação personalizada em lote.
• Os pipelines agora comportam referências de encaminhamento no registro do coletor. Você pode definir fluxos de dados que fazem referência a tabelas downstream antes de serem declaradas. Isso simplifica definições de pipeline complexas e remove restrições de ordenação.
• Os fluxos de acréscimo único agora são validados durante as simulações, capturando erros de configuração antes do início da execução do pipeline. Isso melhora a experiência de desenvolvimento identificando problemas mais rapidamente no fluxo de trabalho de criação de pipelines.

Correções

Nenhuma correção de bug significativa foi incluída neste período de versão. Todas as alterações foram novos recursos e melhorias.

Fevereiro de 2026

Esses recursos e melhorias no Lakeflow Spark Declarative Pipelines foram lançados entre 14 de janeiro de 2026 e 25 de fevereiro de 2026.

Versões do Databricks Runtime usadas por esta versão

As versões a seguir eram atuais a partir de 25 de fevereiro de 2026.

Canal:

• ATUAL (padrão): Databricks Runtime 17.3
• VERSÃO PRÉVIA: Databricks Runtime 17.3

Novos recursos e melhorias

• Os pipelines agora aceitam a ampliação de tipos para tabelas Delta, permitindo que os tipos de dados de coluna sejam ampliados com segurança (por exemplo, INT para LONG, FLOAT para DOUBLE) sem a necessidade de uma redefinição completa do pipeline. Isso permite fluxos de trabalho de evolução do esquema que antes exigiam intervenção manual.
• Agora você pode usar a materialização SCD Tipo 1 com AUTO CDC, fornecendo um padrão CDC mais simples que insere ou atualiza o valor mais recente sem manter o histórico completo de alterações. Isso reduz a sobrecarga de armazenamento para casos de uso que não exigem histórico completo.
• Os pipelines agora reutilizam clusters existentes ao tentar novamente atualizações com falha, reduzindo a latência de repetição e os custos de computação eliminando o tempo de inicialização do cluster redundante.
• A ativação da otimização preditiva agora é exibida corretamente em visualizações materializadas e tabelas de streaming, caso tenham sido atualizadas no último mês.
• Os pipelines agora validam vários fluxos simultaneamente, identificando conflitos de configuração e problemas de dependência entre fluxos durante a simulação antes do início efetivo da execução.
• Os metadados alteráveis agora são preservados durante as atualizações do pipeline de ingestão, permitindo o suporte total para comandos "ALTER" em tabelas de streaming de ingestão.
• Erros de Python em pipelines agora carregam códigos de estado SQL, melhorando o diagnóstico de erros e permitindo melhor tratamento programático de erros em ferramentas subsequentes.
• Os pipelines agora dão suporte a instâncias ARM para computação clássica.

Correções

• Os valores de coluna de identidade em tabelas de streaming somente de acréscimo agora são gerados corretamente na primeira atualização.

Janeiro de 2026

As funcionalidades e melhorias nos Lakeflow Spark Declarative Pipelines foram lançadas entre 14 de novembro de 2025 e 13 de janeiro de 2026.

Versões do Databricks Runtime usadas por esta versão

As versões a seguir eram atuais a partir de 13 de janeiro de 2026.

Canal:

• ATUAL (padrão): Databricks Runtime 17.3
• VERSÃO PRÉVIA: Databricks Runtime 17.3

Novos recursos e melhorias

• Agora você pode armazenar e gerenciar expectativas de qualidade de dados diretamente nas tabelas do Catálogo do Unity, centralizando regras de qualidade de dados com sua estrutura de governança de dados. Isso permite que regras auditáveis de qualidade controladas por versão possam ser compartilhadas em vários pipelines.

• Os pipelines contínuos em execução há mais de 7 dias agora são reiniciados normalmente com tempo de inatividade mínimo e uma causa de atualização explícita (INFRASTRUCTURE_MAINTENANCE), em vez de serem reiniciados abruptamente quando o sistema de computação subjacente precisa ser atualizado.

• Os pipelines agora comportam o modo de execução em fila, em que várias solicitações de atualização são automaticamente enfileiradas e executadas sequencialmente em vez de falharem devido a conflitos. Isso simplifica as operações para pipelines com gatilhos de atualização frequente e elimina a necessidade de coordenação manual de tentativas.

• Agora você pode materializar várias visões SCD Tipo 2 de uma fonte única de dados de alteração, melhorando a eficiência ao criar várias exibições históricas dos mesmos dados. Isso elimina a necessidade de reprocessar dados de origem para cada saída scd tipo 2.

• Agora, os agendamentos e a configuração do pipeline podem ser armazenados e lidos das propriedades da tabela do Unity Catalog, permitindo o gerenciamento centralizado de configurações por meio da governança de dados. Isso permite que você gerencie o comportamento do pipeline junto com suas definições de dados.

• As permissões MANAGE agora são propagadas automaticamente para exibições materializadas e tabelas de streaming no Catálogo do Unity, simplificando o gerenciamento de permissões para resultados de pipeline. Isso garante um controle de acesso consistente sem concessões de permissão manual.

• As operações SCD Tipo 2 agora coalescem automaticamente registros duplicados com a mesma chave natural, garantindo a consistência dos dados e prevenindo registros históricos duplicados em suas tabelas de dimensões com alteração lenta.

• Os pipelines agora têm uma opção para remover automaticamente tabelas inativas que não fazem mais parte da definição do pipeline. Isso ajuda a manter data warehouses limpos e reduz os custos de armazenamento de tabelas obsoletas. Consulte Usar o Unity Catalog com os pipelines.

• A definição de pipeline, as operações de patch e as alterações de identidade em execução agora estão incluídas no log de auditoria, fornecendo um acompanhamento abrangente das alterações de configuração para monitoramento de conformidade e segurança. Consulte o log de eventos do Pipeline.

Correções

Nenhuma correção de bug significativa foi incluída neste período de versão. Todas as alterações foram novos recursos e melhorias.