Databricks Runtime 11.1 (EoS)

As notas de lançamento a seguir fornecem informações sobre o Databricks Runtime 11.1, impulsionado pela Apache Spark 3.3.0. O Databricks lançou essa versão em julho de 2022.

Novos recursos e melhorias

• Photon é GA
• Photon: Tipos de instância com suporte
• Alterar o feed de dados agora pode lidar automaticamente com carimbos de data/hora fora do intervalo
• As funções SQL descrevem e mostram agora os nomes do Unity Catalog na sua saída (Prévia Pública)
• Inferência e evolução de esquema para arquivos Parquet no Auto Loader (versão prévia pública)
• Auto Loader agora suporta evolução de esquema para Avro (GA)
• Suporte do Delta Lake para sobrescrições de partição dinâmica
• Suporte ao esquema de informações para objetos criados no catálogo do Unity
• Restrições informativas em tabelas do Delta Lake com Unity Catalog (Prévia Pública)
• O Unity Catalog agora está disponível ao público
• O Compartilhamento Delta está em disponibilidade geral

Photon está em Disponibilidade Geral

O Photon agora está disponível em geral, começando com o Databricks Runtime 11.1. Photon é o mecanismo de consulta vetorizado nativo em Azure Databricks, escrito para ser diretamente compatível com APIs do Apache Spark para que ele funcione com o código existente. Photon foi desenvolvido em C++ a fim de aproveitar o hardware moderno e utiliza as técnicas mais recentes de processamento de consultas vetorizadas para tirar proveito do paralelismo de dados e de nível de instrução em CPUs, aprimorando o desempenho em dados e aplicativos do mundo real, tudo de forma nativa no seu data lake.

O Photon integra um runtime de alto desempenho que executa suas atuais chamadas de SQL e de DataFrame API mais rapidamente e reduz o custo total por carga de trabalho. O Photon é usado por padrão em SQL warehouses do Databricks.

Novos recursos e aprimoramentos:

• Novo operador de classificação vetorizada
• Novas funções de janela vetorizadas
• Novos tipos e tamanhos de instância em todas as nuvens

Limitações:

• Não há suporte para UDFs do Scala/Python pelo Photon
• O RDD não tem suporte do Photon
• O Streaming Estruturado não tem suporte do Photon

Para obter mais informações, consulte os seguintes comunicados do Photon.

Photon: Novo operador de ordenação vetorizada

O photon agora dá suporte a uma classificação vetorizada para quando uma consulta contém SORT_BY, CLUSTER_BYou uma função de janela com um ORDER BY.

Limitações: o Photon não dá suporte a uma cláusula global ORDER BY. Classificações para avaliação de janela serão fotonizados, mas a classificação global continuará sendo executada no Spark.

Photon: novas funções de janela vetorizadas

O Photon agora dá suporte à avaliação de função de janela vetorizada para muitos tipos de quadros e funções. As novas funções de janela incluem: row_number, rank, dense_rank, lag, lead, percent_rank, ntile e nth_value. Tipos de quadro de janela com suporte: execução (UNBOUNDED PRECEDING AND CURRENT ROW), não associado (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), crescimento (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e redução (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitações:

• O Photon dá suporte apenas a versões ROWS de todos os tipos de quadro.
• O photon ainda não dá suporte ao tipo de quadro deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Tipos de instância com suporte

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

Alterar o feed de dados agora pode lidar automaticamente com carimbos de data/hora fora do intervalo

O CDF (feed de dados de alteração) agora tem um novo modo para fornecer carimbos de data/hora ou versões após a versão de uma confirmação mais recente sem gerar erros. Esse modo está desabilitado por padrão. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled como true.

As funções SQL de descrever e mostrar agora exibem os nomes do Catálogo do Unity em sua saída (Prévia Pública)

Os comandos DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN e SHOW CREATE TABLE agora sempre mostram o nome do catálogo em sua saída.

Inferência e evolução de esquema para arquivos Parquet no Carregador Automático (versão prévia pública)

O Auto Loader agora oferece suporte à inferência e evolução de esquemas para arquivos Parquet. Assim como os formatos JSON, CSV e Avro, agora você pode usar a coluna de dados resgatada para resgatar dados inesperados que podem aparecer em seus arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas que têm uma caixa diferente ou colunas adicionais que não fazem parte do esquema esperado. Você pode configurar o Carregador Automático para evoluir o esquema automaticamente ao encontrar a adição de novas colunas nos dados de entrada. Confira Configurar a inferência e a evolução de esquema no Auto Loader.

O Auto Loader agora dá suporte à evolução do esquema para Avro (GA)

Confira Configurar a inferência e a evolução de esquema no Auto Loader.

Suporte do Delta Lake para substituições de partição dinâmica

O Delta Lake agora permite que o modo dinâmico de sobrescrição de partição sobrescreva todos os dados existentes em cada partição lógica onde a gravação comprometerá novos dados. Confira Substituir dados seletivamente com o Delta Lake.

Suporte ao esquema de informações para objetos criados no catálogo do Unity

O esquema de informações fornece uma API autodescritiva baseada em SQL para os metadados de vários objetos de banco de dados, incluindo tabelas e exibições, restrições e rotinas. Dentro do esquema de informações, você encontra um conjunto de visões que descrevem os objetos conhecidos pelo catálogo do esquema que você tem o privilégio de ver. O esquema de informações do catálogo SYSTEM retorna informações sobre objetos em todos os catálogos no metastore. Consulte Esquema de informações.

Restrições informativas em tabelas do Delta Lake com Unity Catalog (Visualização Pública)

Agora, você pode definir restrições de chave primária e chave estrangeira informativas nas tabelas do Delta Lake com o catálogo do Unity. Restrições informativas não são aplicadas. Consulte a cláusula CONSTRAINT.

O Catálogo do Unity está em disponibilidade geral

O Catálogo do Unity agora está em disponibilidade geral, começando com o Databricks Runtime 11.1. Veja O que é o Catálogo do Unity?.

O Compartilhamento Delta está em disponibilidade geral

O Compartilhamento Delta agora está em disponibilidade geral, começando com o Databricks Runtime 11.1.

O Compartilhamento Delta de Databricks para Databricks é totalmente gerenciado sem a necessidade de trocar tokens. Você pode criar e gerenciar provedores, destinatários e compartilhamentos na interface do usuário ou com APIs REST e SQL.

Alguns recursos incluem restringir o acesso do destinatário, consultar dados com listas de acesso IP e restrições de região e delegar o gerenciamento de compartilhamento Delta a não administradores. Você também pode consultar alterações nos dados ou compartilhar versões incrementais com os Feeds de dados de alterações. Veja o que é o OpenSharing?.

Alterações de comportamento

Rasura de propriedades confidenciais para DESCRIBE TABLE e SHOW TABLE PROPERTIES

As propriedades confidenciais são ocultadas em DataFrames e na saída dos comandos DESCRIBE TABLE e SHOW TABLE PROPERTIES.

Os clusters de trabalho assumem como padrão o modo de acesso de usuário único com o Databricks Runtime 11.1 e superior

Para poderem ser usados com o Catálogo do Unity, os clusters de trabalho usando o Databricks Runtime 11.1 e superior criados por meio da interface do usuário de trabalhos ou da API de trabalhos usarão como padrão o modo de acesso de usuário único. O modo de acesso de usuário único é compatível com a maioria das linguagens de programação, recursos de cluster e recursos de governança de dados. Você ainda pode configurar o modo de acesso padrão (antigo modo de acesso compartilhado) por meio da interface do usuário ou da API, mas os idiomas ou recursos podem ser limitados.

Atualizações de biblioteca

• Bibliotecas de Python atualizadas:
  • filelock de 3.6.0 para 3.7.1
  • plotly de 5.6.0 a 5.8.2
  • protobuf de 3.20.1 a 4.21.2
• Bibliotecas do R atualizadas:
  • chron de 2.3-56 a 2.3-57
  • DBI de 1.1.2 a 1.1.3
  • dbplyr de 2.1.1 a 2.2.0
  • e1071 de 1.7-9 a 1.7-11
  • future de 1.25.0 a 1.26.1
  • globals de 0.14.0 a 0.15.1
  • atualização do hardhat de 0.2.0 para 1.1.0
  • ipred de 0.9-12 a 0.9-13
  • OpenSSL versão de 2.0.0 a 2.0.2
  • em paralelo de 1.31.1 a 1.32.0
  • processx de 3.5.3 a 3.6.1
  • progressr de 0.10.0 a 0.10.1
  • proxy de 0.4-26 a 0.4-27
  • ps de 1.7.0 para 1.7.1
  • randomForest de 4.7-1 para 4.7-1.1
  • roxygen2 de 7.1.2 a 7.2.0
  • Rserve de 1.8-10 a 1.8-11
  • RSQLite de 2.2.13 a 2.2.14
  • sparklyr de 1.7.5 a 1.7.7
  • tinytex de 0.38 a 0.40
  • usethis de 2.1.5 a 2.1.6
  • xfun de 0.30 a 0.31
• Bibliotecas de Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Apache Spark

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-40054] [SQL] Restaure a sintaxe de tratamento de erro de try_cast()
• [SPARK-39489] [CORE] Melhore o desempenho do registro em log de eventos JsonProtocol usando Jackson em vez de Json4s
• [SPARK-39319] [CORE][sql] Faça contextos de consulta como parte de SparkThrowable
• [SPARK-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar bugs
• [SPARK-40001] [SQL] Faça as gravações NULL em colunas JSON DEFAULT gravarem 'null' no armazenamento
• [SPARK-39635] [SQL] Suporte métricas de driver na API de métrica personalizada DS v2
• [SPARK-39184] [SQL] Lidar com matriz de resultados de tamanho inferior em sequências de data e timestamp
• [SPARK-40019] [SQL] Refatore o comentário do containsNull do Tipo de matriz e refatore as lógicas não entendidas na expressão collectionOperator sobre containsNull
• [SPARK-39989] [SQL] Suporte estatísticas de coluna de estimativa se elas forem expressões dobráveis
• [SPARK-39926] [SQL] Corrija bugs na coluna de suporte PADRÃO para verificações Parquet não vetoriais
• [SPARK-40052] [SQL] Manipule buffers de bytes diretos em VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Corrija o tipo de intervalo de destino em erros de estouro de conversão
• [SPARK-39835] [SQL] Corrija a classificação global de remoção EliminateSorts abaixo da classificação local
• [SPARK-40002] [SQL] Não reduza o limite por meio da janela usando a função NTILE
• [SPARK-39976] [SQL] ArrayIntersect deve lidar corretamente com null na expressão à esquerda
• [SPARK-39985] [SQL] Permitir valores padrão implícitos de coluna em inserções a partir de DataFrames
• [SPARK-39776] [SQL] A cadeia de caracteres detalhada JOIN deve adicionar o tipo Junção
• [SPARK-38901] [SQL] O DS V2 dá suporte à propagação de funções diversas
• [SPARK-40028] [SQL][acompanhamento] Melhorar exemplos de funções de cadeia de caracteres
• [SPARK-39983] [CORE][sql] Não armazenar em cache relações de transmissão não credenciadas no driver
• [SPARK-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
• [SPARK-40028] [SQL] Adicione exemplos binários para expressões de cadeia de caracteres
• [SPARK-39981] [SQL] Acione a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert na conversão
• [SPARK-40007] [PYTHON][sql] Adicionar 'modo' às funções
• [SPARK-40008] [SQL] Suporte à conversão de integrais para intervalos ANSI
• [SPARK-40003] [PYTHON][sql] Adicionar 'mediana' às funções
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve armazenar novamente em cache a relação de resultado
• [SPARK-39951] [SQL] Atualizar a verificação de coluna do Parquet V2 para campos aninhados
• [SPARK-39775] [CORE][avro] Desabilitar valores padrão de validação ao analisar esquemas do Avro
• [SPARK-33236] [shuffle] Backport para Databricks Runtime 11.x: habilite o serviço shuffle baseado em push para armazenar o estado em DB nível NM para reinicialização de preservação do trabalho
• [SPARK-39836] [SQL] Simplifique V2ExpressionBuilder extraindo o método comum.
• [SPARK-39867] [SQL] O limite global não deve herdar OrderPreservingUnaryNode
• [SPARK-39873] [SQL] Remova OptimizeLimitZero e mescle em EliminateLimits
• [SPARK-39961] [SQL] Traduza a propagação de DS V2 Converter se a conversão for segura
• [SPARK-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a API de entrada de array em VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Remova AliasHelper ou PredicateHelper desnecessários para algumas regras
• [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] Aplicar projeção quando os atributos de grupo estiverem vazios
• [SPARK-39900] [SQL] Enderece condição parcial ou negada no pushdown de predicado do formato binário
• [SPARK-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [SPARK-39958] [SQL] Adicione log de aviso quando não for possível carregar o objeto de métrica personalizado
• [SPARK-39936] [SQL] Armazene esquema em propriedades para exibições do Spark
• [SPARK-39932] [SQL] WindowExec deve limpar o buffer de partição final
• [SPARK-37194] [SQL] Evite classificação desnecessária na gravação v1 se não for partição dinâmica
• [SPARK-39902] [SQL] Adicione detalhes de verificação ao nó de verificação do plano Spark no SparkUI
• [SPARK-39865] [SQL] Mostre mensagens de erro adequadas nos erros de estouro da inserção de tabela
• [SPARK-39940] [SS] Atualize tabela de catálogo na consulta de streaming com o coletor DSv1
• [SPARK-39827] [SQL] Use a classe de erro ARITHMETIC_OVERFLOW no estouro int em add_months()
• [SPARK-39914] [SQL] Adicione filtro DS V2 à conversão de filtro V1
• [SPARK-39857] [SQL] Backport manual Databricks Runtime 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In Nº 43454
• [SPARK-39840] [SQL][python] Fator PythonArrowInput como uma simetria para PythonArrowOutput
• [SPARK-39651] [SQL] Remova a condição de filtro se a comparação com rand for determinística
• [SPARK-39877] [PYTHON] Adicionar unpivot à API de DataFrame do PySpark
• [SPARK-39847] [WARMFIX][ss] Corrija condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
• [SPARK-39909] [SQL] Organize a verificação de informações de pushdown para JDBCV2Suite
• [SPARK-39834] [SQL][ss] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier do DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
• [SPARK-39860] [SQL] Mais expressões devem estender o Predicado
• [SPARK-39823] [SQL][python] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [SPARK-39918] [SQL][minor] Substitua a redação "não comparável" por "incomparável" na mensagem de erro
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In
• [SPARK-39862] [SQL] Backport manual para PR 43654 visando o Databricks Runtime 11.x: Atualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir/negar ALTER TABLE … Adicione comandos COLUMN separadamente.
• [SPARK-39844] [SQL] Backport manual para PR 43652 visando o Databricks Runtime 11.x
• [SPARK-39899] [SQL] Corrija passagem de parâmetros de mensagem para InvalidUDFClassException
• [SPARK-39890] [SQL] Fazer com que TakeOrderedAndProjectExec herde AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Adicionar suporte ao CharType no PySpark
• [SPARK-38864] [SQL] Adicione unpivot/melt ao Conjunto de dados
• [SPARK-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
• [SPARK-39808] [SQL] Suporte à função de agregação MODE
• [SPARK-39839][SQL] Tratar o caso especial de decimal de comprimento variável nulo com offsetAndSize diferente de zero na verificação de integridade estrutural de UnsafeRow
• [SPARK-39875] [SQL] Altere método protected na classe final para private ou package-visible
• [SPARK-39731][SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com política de analisador de tempo CORRECTED
• [SPARK-39805] [SS] Descontinuar "Trigger.Once" e tornar "Trigger.AvailableNow"
• [SPARK-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir a Expressão Catalyst para o filtro da fonte de dados
• [SPARK-39672] [SQL][3.1] Corrija a remoção do projeto antes do filtro com subconsulta correlacionada
• [SPARK-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
• [SPARK-39806] [SQL] O acesso _metadata na tabela particionada pode travar uma consulta
• [SPARK-39810] [SQL] Catalog.tableExists deve lidar com namespace aninhado
• [SPARK-37287] [SQL] Retire partição dinâmica e classificação de bucket do FileFormatWriter
• [SPARK-39469] [SQL] Infira o tipo de data para inferência de esquema CSV
• [SPARK-39148] [SQL] O push down de agregação do DS V2 pode funcionar com o OFFSET ou o LIMIT
• [SPARK-39818] [SQL] Corrigir bug nos tipos ARRAY, STRUCT e MAP com valores padrão e campos NULL
• [SPARK-39792] [SQL] Adicione DecimalDivideWithOverflowCheck para a média decimal
• [SPARK-39798] [SQL] Substitua toSeq.toArray por .toArray[Any] no construtor de GenericArrayData
• [SPARK-39759] [SQL] Implemente listIndexes no JDBC (dialeto H2)
• [SPARK-39385] [SQL] Dá suporte ao push down REGR_AVGX e REGR_AVGY
• [SPARK-39787] [SQL] Usar a classe de erro no erro de análise da função to_timestamp
• [SPARK-39760] [PYTHON] Suporte Varchar no PySpark
• [SPARK-39557] [SQL] Backport manual para Databricks Runtime 11.x: Suporte a ARRAY, STRUCT, tipos MAP como valores PADRÃO
• [SPARK-39758] [SQL][3.3] Corrija NPE das funções regexp em padrões inválidos
• [SPARK-39749] [SQL] Modo ANSI SQL: use representação de texto simples ao converter decimal para texto
• [SPARK-39704] [SQL] Implementar createIndex & dropIndex & indexExists no JDBC (dialeto H2)
• [SPARK-39803][SQL] Usar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Dar suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [SPARK-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de repositório de estado rocksdb
• [SPARK-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte do SparkR
• [SPARK-39751] [SQL] Renomeie a métrica de investigação de chave de agregação de hash
• [SPARK-39772] [SQL] O namespace deve ser nulo quando o banco de dados for nulo nos construtores antigos
• [SPARK-39625] [SPARK-38904][sql] Adicionar Dataset.as(StructType)
• [SPARK-39384] [SQL] Compile funções de agregação de regressão linear embutidas para o dialeto JDBC
• [SPARK-39720] [R] Implemente tableExists/getTable no SparkR para namespace 3L
• [SPARK-39744] [SQL] Adicione a função REGEXP_INSTR
• [SPARK-39716] [R] Fazer com que currentDatabase/setCurrentDatabase/listCatalogs no SparkR suportem o namespace 3L
• [SPARK-39788] [SQL] Renomeie catalogName como dialectName para JdbcUtils
• [SPARK-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
• [SPARK-39754] [CORE][sql] Remover não utilizado import ou desnecessário {}
• [SPARK-39706] [SQL] Defina coluna ausente com defaultValue como constante em ParquetColumnVector
• [SPARK-39699] [SQL] Torne CollapseProject mais inteligente sobre expressões de criação de coleção
• [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devem dar suporte ao filtro de agregação
• [SPARK-39579] [SQL][python][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [SPARK-39627] [SQL] O pushdown do JDBC V2 deve unificar a API de compilação
• [SPARK-39748] [SQL][ss] Inclua o plano lógico de origem para LogicalRDD se ele vier do DataFrame
• [SPARK-39385] [SQL] Traduza funções de agregação de regressão linear para pushdown
• [SPARK-39695] [SQL] Adicionar a função REGEXP_SUBSTR
• [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para compilar e transmitir a tabela
• [SPARK-39666] [ES-337834][sql] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
• [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores DEFAULT
• [SPARK-38647] [SQL] Adicione combinação de SupportsReportOrdering na interface para Verificação (DataSourceV2)
• [SPARK-39497] [SQL] Aprimorar a exceção de análise da coluna de chave de mapa ausente
• [SPARK-39661] [SQL] Evite criar um Logger SLF4J desnecessário
• [SPARK-39713][SQL] Modo ANSI: adicione sugestão de uso de try_element_at para o erro INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] O DS V2 dá suporte a pushdown de funções datetime
• [SPARK-39638] [SQL] Altere para usar ConstantColumnVector e armazenar colunas de partição em OrcColumnarBatchReader
• [SPARK-39653] [SQL] Limpe ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
• [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição em VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
• [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Retrabalhar MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordenação de saída do child
• [SPARK-39606] [SQL] Use estatísticas filho para estimar o operador de pedido
• [SPARK-39611] [PYTHON][ps] Corrigir aliases errados em array_ufunc
• [SPARK-39656] [SQL][3.3] Corrija namespace errado em DescribeNamespaceExec
• [SPARK-39675] [SQL] Alterne a configuração 'spark.sql.codegen.factoryMode' da finalidade do teste para a finalidade interna
• [SPARK-39139] [SQL] O DS V2 dá suporte ao envio de DS V2 UDF
• [SPARK-39434] [SQL] Fornecer o contexto da consulta de erro de runtime quando o índice de matriz está fora do limite
• [SPARK-39479] [SQL] DS V2 dá suporte a pushdown de funções matemáticas (não ANSI)
• [SPARK-39618] [SQL] Adicionar a função REGEXP_COUNT
• [SPARK-39553] [CORE] A ordem aleatória do cancelamento de registro de vários threads não deve gerar NPE ao usar o Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Adicione arquivo para cuidar das funções gerais do pandas ausentes
• [SPARK-39444] [SQL] Adicione OptimizeSubqueries à lista nonExcludableRules
• [SPARK-39316] [SQL] Mescle PromotePrecision e CheckOverflow em aritmética binária decimal
• [SPARK-39505] [UI] Escape conteúdo do log renderizado na interface do usuário
• [SPARK-39448] [SQL] Adicione ReplaceCTERefWithRepartition à lista nonExcludableRules
• [SPARK-37961] [SQL] Sobrescrever maxRows/maxRowsPerPartition para alguns operadores lógicos
• [SPARK-35223] Reverta Adicionar IssueNavigationLink
• [SPARK-39633] [SQL] Dê suporte ao carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
• [SPARK-38796] [SQL] Atualize a documentação para cadeias de caracteres de formato de número com as funções {try_}to_number
• [SPARK-39650][SS] Corrigir esquema de valor incorreto na eliminação de duplicação de fluxo com a compatibilidade com versões anteriores
• [SPARK-39636] [CORE][ui] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e tarefa/executor ResourceRequests
• [SPARK-39432] [SQL] Retorne ELEMENT_AT_BY_INDEX_ZERO a partir de element_at(*, 0)
• [SPARK-39349] Adicione um método CheckError centralizado para a garantia de qualidade do caminho do erro
• [SPARK-39453] [SQL] O DS V2 dá suporte a funções não agregadas em diversos envios (não ANSI)
• [SPARK-38978] [SQL] O DS V2 dá suporte ao operador OFFSET de envio
• [SPARK-39567] [SQL] Dê suporte a intervalos ANSI nas funções percentil
• [SPARK-39383] [SQL] Suporte para colunas DEFAULT em ALTER TABLE ALTER COLUMNS para fontes de dados da V2
• [SPARK-39396] [SQL] Corrigir exceção de logon LDAP 'código de erro 49 - credenciais inválidas'
• [SPARK-39548][SQL] O comando CreateView com uma consulta de cláusula de janela atingiu um problema de definição de janela incorreta não encontrada
• [SPARK-39575] [AVRO] Adicionar ByteBuffer#rewind após ByteBuffer#get no Avro…
• [SPARK-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se for feito o fallback para v1
• [SPARK-39564] [SS] Exponha as informações da tabela de catálogo ao plano lógico na consulta de streaming
• [SPARK-39582] [SQL] Corrigir o marcador "Since" para array_agg
• [SPARK-39388] [SQL] Reutilize orcSchema ao reduzir predicados Orc
• [SPARK-39511] [SQL] Melhore o limite local de pushdown 1 para o lado direito da semi/anti junção à esquerda se a condição de junção estiver vazia
• [SPARK-38614] [SQL] Não empurre o limite para baixo pela janela que está usando percent_rank
• [SPARK-39551] [SQL] Adicione verificação de plano inválido AQE
• [SPARK-39383] [SQL] Suporte para colunas DEFAULT em ALTER TABLE ADD COLUMNS para fontes de dados da V2
• [SPARK-39538] [SQL] Evitar a criação desnecessária de um logger SLF4J
• [SPARK-39383] [SQL] Backport manual para Databricks Runtime 11.x: refatorar o suporte à coluna DEFAULT para ignorar a passagem do Analisador primário
• [SPARK-39397] [SQL] Libere o AliasAwareOutputExpression para dar suporte a alias com expressão
• [SPARK-39496] [SQL] Manipule struct nulo em Inline.eval
• [SPARK-39545] [SQL] Substitua o método concat pelo ExpressionSet no Scala 2.13 para melhorar o desempenho
• [SPARK-39340] [SQL] A propagação de agregação do DS v2 deve permitir pontos no nome das colunas de nível superior
• [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [SPARK-38846] [SQL] Adicione mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
• [SPARK-39520] [SQL] Substitua o método -- pelo ExpressionSet no Scala 2.13
• [SPARK-39470] [SQL] Dê suporte à conversão de intervalos ANSI para decimais
• [SPARK-39477] [SQL] Remova a informação sobre "Número de consultas" dos arquivos padrão do SQLQueryTestSuite
• [SPARK-39419][SQL] Corrija um erro em que ArraySort lança uma exceção quando o comparador retorna nulo
• [SPARK-39061] [SQL] Configurar corretamente a nulabilidade dos atributos de saída Inline
• [SPARK-39320] [SQL] Dar suporte à função de agregação MEDIAN
• [SPARK-39261] [CORE] Aprimorar a formatação de nova linha para mensagens de erro
• [SPARK-39355][SQL] A coluna única usa aspas para construir UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE deve rasurar propriedades
• [SPARK-37623] [SQL] Dar suporte à função de agregação ANSI: regr_intercept
• [SPARK-39374] [SQL] Aprimorar a mensagem de erro da lista de colunas especificada pelo usuário
• [SPARK-39255] [SQL][3.3] Aprimorar as mensagens de erro
• [SPARK-39321] [SQL] Refatorar TryCast para usar RuntimeReplaceable
• [SPARK-39406] [PYTHON] Aceitar a matriz NumPy em createDataFrame
• [SPARK-39267] [SQL] Limpe o símbolo desnecessário de DSL
• [SPARK-39171] [SQL] Unifique a expressão de Conversão
• [SPARK-28330] [SQL] Dê suporte a ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
• [SPARK-39203] [SQL] Reescreva a localização da tabela para URI absoluto com base no URI do banco de dados
• [SPARK-39313] [SQL] toCatalystOrdering deverá falhar se V2Expression não puder ser traduzido
• [SPARK-39301] [SQL][python] Aproveite LocalRelation e respeite o tamanho do lote do Arrow em createDataFrame com otimização do Arrow
• [SPARK-39400] [SQL] spark-sql deve remover o diretório de recurso hive em todos os casos

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 11.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Bibliotecas de Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot do CRAN da Microsoft em 2022-08-15.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)