Databricks Runtime 13.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.1, da plataforma Apache Spark 3.4.0.

O Databricks lançou essa versão em maio de 2023.

Novos recursos e melhorias

• Suporte ao cluster para o JDK 17 (Visualização Pública)
• Adicionar, alterar ou excluir dados em tabelas de streaming
• Ler Kafka com SQL
• Novas funções internas do SQL
• Suporte do Unity Catalog para bibliotecas Python com escopo de cluster
• Expansão da habilitação padrão para escritas otimizadas no Unity Catalog
• Suporte avançado para operadores com estado em cargas de trabalho de Streaming Estruturado
• Clone Delta para o Unity Catalog está em Public Preview
• Suporte de Pub/Sub para Streaming Estruturado
• Remover duplicidades dentro de marcas d'água no Streaming Estruturado
• Suporte expandido para conversões Delta de tabelas do Apache Iceberg com colunas de partição truncadas
• Alterações no esquema de streaming com mapeamento de colunas no Delta Lake
• Remover VERSÃO INICIAL
• Novas expressões H3 disponíveis com Python

Suporte ao cluster para JDK 17 (Visualização Pública)

O Databricks agora fornece suporte de cluster para o JDK 17 (Kit de Desenvolvimento do Java). Consulte Databricks SDK para Java.

Adicionar, alterar ou excluir dados em tabelas de streaming

Agora você pode usar instruções DML para modificar tabelas de streaming publicadas no Catálogo do Unity pelo Lakeflow Spark Declarative Pipelines. Confira Adicionar, alterar ou excluir dados em uma tabela de streaming e Adicionar, alterar ou excluir dados em uma tabela de streaming de destino. Você também pode usar instruções DML para modificar tabelas de streaming criadas no Databricks SQL.

Ler Kafka com SQL

Agora você pode usar a função SQL read_kafka para ler dados Kafka. O streaming com SQL tem suporte apenas em DLT ou com tabelas de streaming no Databricks SQL. Consulte TVF read_kafka.

Novas funções internas do SQL

As seguintes funções foram adicionadas:

• array_prepend(array, elem) Retorna array precedido por elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Descriptografa um binário produzido usando a criptografia AES e retorna NULL se houver um erro.
• sql_keywords() retorna uma tabela de palavras-chave do SQL Azure Databricks.

Suporte do Unity Catalog para bibliotecas de Python com escopo de cluster

O Catálogo do Unity tem algumas limitações no uso de bibliotecas. No Databricks Runtime 13.1 e superior, há suporte para bibliotecas Python com escopo de cluster, incluindo arquivos de roda Python que são carregados como arquivos de espaço de trabalho. Não há suporte para bibliotecas referenciadas usando caminhos de arquivo DBFS, seja na raiz do DBFS ou em um local externo montado no DBFS. Não há suporte para bibliotecas não Python. Consulte bibliotecas com escopo de computação.

No Databricks Runtime 13.0 e inferior, não há suporte para bibliotecas com escopo de cluster em clusters que usam o modo de acesso padrão (antigo modo de acesso compartilhado) em um workspace habilitado para Catálogo do Unity.

Habilitação padrão expandida para gravações otimizadas no Catálogo do Unity

O suporte de gravação otimizado padrão para tabelas Delta registradas no Catálogo do Unity foi expandido para incluir instruções CTAS e operações INSERT para tabelas particionadas. Esse comportamento se alinha aos padrões em SQL warehouses. Consulte Gravações otimizadas.

Suporte avançado para operadores com estado em cargas de trabalho de Streaming Estruturado

Agora você pode encadear vários operadores com estado, o que significa que você pode alimentar a saída de uma operação, como uma agregação em janelas para outra operação com estado, como uma junção. Veja O que é streaming com estado?.

O clone delta do Catálogo do Unity está em versão prévia pública

Agora você pode usar a clonagem rasa para criar novas tabelas gerenciadas do Unity Catalog a partir de tabelas gerenciadas existentes do Unity Catalog. Veja Clone superficial para as tabelas do Catálogo do Unity.

Suporte de Pub/Sub para Streaming Estruturado

Agora você pode usar um conector interno para assinar o Google Pub/Sub com Streaming Estruturado. Confira Assinar o Google Pub/Sub.

Remover duplicidades dentro de marcas d'água no Streaming Estruturado

Agora você pode usar dropDuplicatesWithinWatermark em combinação com um limite de marca d'água especificado para eliminação de duplicação de registros no Streaming Estruturado. Confira Descartar duplicatas dentro da marca d'água.

Suporte expandido para conversões Delta de tabelas do Apache Iceberg com colunas de partição truncadas

Agora você pode usar CLONE e CONVERT TO DELTA com tabelas do Apache Iceberg que têm partições definidas em colunas truncadas de tipos inte longstring. Não há suporte para as colunas truncadas do tipo decimal.

Alterações de esquema de streaming com mapeamento de coluna no Delta Lake

Agora você pode fornecer um local de acompanhamento de esquema para habilitar o streaming de tabelas Delta com o mapeamento de coluna habilitado. Consulte o mapeamento e o streaming de colunas.

Remover VERSÃO INICIAL

START VERSION está obsoleto em favor de ALTER SHARE.

Novas expressões H3 disponíveis com Python

As expressões h3_coverash3 e h3_coverash3string estão disponíveis com Python.

Correções

Parquet failOnUnknownFields não remove mais dados silenciosamente na incompatibilidade de tipo

Se um arquivo Parquet foi lido apenas com a opção failOnUnknownFields ou com o Carregador Automático no modo de evolução do esquema failOnNewColumns, as colunas que têm tipos de dados diferentes agora falham e recomendam o uso de rescuedDataColumn. O Carregador Automático agora lê corretamente e não resgata mais os tipos Inteiro, Curto ou Byte se um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos.

Alterações críticas

Atualizar a versão do sqlite-jdbc para 3.42.0.0 para tratar do CVE-2023-32697

Atualize a versão do sqlite-jdbc de 3.8.11.2 para 3.42.0.0. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Se estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade do sqlite-jdbc para obter detalhes. Se você migrar para a versão 13.1 e usar o sqlite, confirme seus métodos e o tipo de retorno na versão 3.42.0.0.

Atualizações de biblioteca

• Bibliotecas de Python atualizadas:
  • facets-overview de 1.0.2 para 1.0.3
  • filelock de 3.10.7 para 3.12.0
  • pyarrow de 7.0.0 para 8.0.0
  • tenacidade de 8.0.1 a 8.1.0
• Bibliotecas R atualizadas:
• Bibliotecas de Java atualizadas:
  • com.github.ben-manes.caffeine.caffeine de 2.3.4 para 2.9.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.8 para 0.6.4
  • net.snowflake.snowflake-jdbc de 3.13.29 para 3.13.22
  • org.checkerframework.checker-qual de 3.5.0 a 3.19.0
  • org.scalactic.scalactic_2.12 de 3.0.8 para 3.2.15
  • org.scalatest.scalatest_2.12 de 3.0.8 para 3.2.15
  • org.xerial.sqlite-jdbc de 3.8.11.2 a 3.42.0.0

Apache Spark

O Databricks Runtime 13.1 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 13.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-42719] [DBRRM-199][sc-131578] Reverter “[SC-125225] `MapOutputTracker#getMap…
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Reverter [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Adicionar Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] Torne possível estender o ChannelBuilder para SparkConnectClient
• [SPARK-43323] [SC-129966][sql][PYTHON] Corrigir DataFrame.toPandas com Seta habilitada para lidar com exceções corretamente
• [SPARK-42940] [SC-129896][ss][CONNECT] Melhorar o gerenciamento de sessão para consultas de streaming
• [SPARK-43032] [SC-125756] [CONNECT][ss] Adicionar gerenciador de consultas de streaming
• [SPARK-16484] [SC-129975][sql] Adicionar suporte para Datasketches HllSketch
• [SPARK-43260] [SC-129281][python] Migrar os erros de tipo de seta pandas do Spark SQL para a classe de erro.
• [SPARK-41766] [SC-129964][core] Tratar solicitação de descomissionamento enviada antes do registro do executor
• [SPARK-43307] [SC-129971][python] Migrar erros de valor PandasUDF para a classe de erro
• [SPARK-43206] [SC-129903] [SS] [CONNECT] exception() StreamingQuery inclui rastreamento de pilha
• [SPARK-43311] [SC-129905][ss] Adicionar aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado RocksDB
• [SPARK-43237] [SC-129898][core] Manipular mensagem de exceção nula no log de eventos
• [SPARK-43320] [SC-129899][sql][HIVE] Chame diretamente a API do Hive 2.3.9
• [SPARK-43270] [SC-129897][python] Implementar __dir__()pyspark.sql.dataframe.DataFrame para incluir colunas
• [SPARK-43183] Reverter "[SC-128938][ss] Introduzir um novo retorno de chamada "...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] awaitTermination() StreamingQuery de Scala
• [SPARK-43257] [SC-129675][sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2022 por um erro interno
• [SPARK-43198] [SC-129470][connect] Correção "Não foi possível inicializar a classe amônio..." erro ao usar filtro
• [SPARK-43165] [SC-129777][sql] Mover canWrite para DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf com entrada escalar tem falha com o tamanho do lote de um
• [SPARK-43298] [SC-129700]Revert "[PYTHON][ml] predict_batch_udf com entrada escalar falha com o tamanho do lote de um"
• [SPARK-43052] [SC-129663][core] Manipular o stacktrace com o nome do arquivo nulo no log de eventos
• [SPARK-43183] [SC-128938][ss] Introduzir um novo retorno de chamada "onQueryIdle" ao StreamingQueryListener
• [SPARK-43209] [SC-129190][connect][PYTHON] Migrar os erros de expressão para a classe de erros
• [SPARK-42151] [SC-128754][sql] Alinhar UPDATE atribuições com atributos de tabela
• [SPARK-43134] [SC-129468] [CONNECT] [SS] API exception() do StreamingQuery para cliente JVM
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf com entrada escalar tem falha com o tamanho do lote de um
• [SPARK-43248] [SC-129660][sql] Serializar/desserializar desnecessário do Caminho em estatísticas de partição de coleta paralela
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Apresentar PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] Implementar avaliação ansiosa para repr e repr_html
• [SPARK-42953] [SC-129469][connect][Followup] Corrigir o build de teste do maven para testes de UDF do cliente Scala
• [SPARK-43144] [SC-129280] API table() DataStreamReader do Cliente Scala
• [SPARK-43136] [SC-129358][connect] Adicionando funções groupByKey + mapGroup + coGroup
• [SPARK-43156] [SC-129672][SC-128532][SQL] Corrigir bug COUNT(*) is null na subconsulta escalar correlacionada
• [SPARK-43046] [SC-129110] [SS] [Connect] Implementado Python API dropDuplicatesWithinWatermark para Spark Connect
• [SPARK-43199] [SC-129467][sql] Make InlineCTE idempotent
• [SPARK-43293] [SC-129657][sql] __qualified_access_only deve ser ignorado em colunas normais
• [SPARK-43276] [SC-129461][connect][PYTHON] Migrar erros da Janela do Spark Connect para a classe de erro
• [SPARK-43174] [SC-129109][sql] Corrigir o completador do SparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] Adicionar suporte a applyInPandasWithState para o Spark Connect
• [SPARK-43119] [SC-129040][sql] Suporte obter palavras-chave SQL dinamicamente por meio da API JDBC e TVF
• [SPARK-43082] [SC-129112][connect][PYTHON] UDFs de Python otimizados pelo Arrow no Spark Connect
• [SPARK-43085] [SC-128432][sql] Suporte para atribuição de valor padrão em colunas de nomes de tabelas com várias partes
• [SPARK-43226] [LC-671] Definir extratores para metadados constantes de arquivo
• [SPARK-43210] [SC-129189][connect][PYTHON] Introdução PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] Postar métricas do lado do driver para LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Corrigir ReplE2ESuite que tem falha consistentemente com o JDK 17
• [SPARK-43268] [SC-129249][sql] Use classes de erro adequadas quando as exceções forem construídas com uma mensagem
• [SPARK-43142] [SC-129299] Corrigir expressões DSL em atributos com caracteres especiais
• [SPARK-43129] [SC-128896] API do Scala Core para streaming do Spark Connect
• [SPARK-43233] [SC-129250] [SS] Adicionar registro em log para Leitura em Lote do Kafka para partição de tópicos, intervalo de deslocamento e ID da tarefa
• [SPARK-43249] [SC-129195][conectar] Corrigir estatísticas ausentes para o Comando SQL
• [SPARK-42945] [SC-129188][connect] Suporte a PYSPARK_JVM_STACKTRACE_ENABLED no Spark Connect
• [SPARK-43178] [SC-129197][connect][PYTHON] Migrar erros de UDF para a estrutura de erros do PySpark
• [SPARK-43123] [SC-128494][sql] Metadados de campo internos não devem ser vazados para catálogos
• [SPARK-43217] [SC-129205] Recursar corretamente em mapas/matrizes aninhados em findNestedField
• [SPARK-43243] [SC-129294][python][CONNECT] Adicionar parâmetro de nível ao printSchema para Python
• [SPARK-43230] [SC-129191][connect] Simplificar DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] Respeitar RequiresDistributionAndOrdering em CTAS/RTAS
• [SPARK-43234] [SC-129192][connect][PYTHON] Migrar ValueError do Conect DataFrame para a classe de erro
• [SPARK-43212] [SC-129187][ss][PYTHON] Migrar erros de Streaming Estruturado para a classe de erro
• [SPARK-43239] [SC-129186][ps] Remover null_counts de info()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput deve ser consistente com a saída filho
• [SPARK-43191] [SC-128924][core] Substituir reflexão w/ chamada direta para Hadoop CallerContext
• [SPARK-43193] [SC-129042][ss] Remover solução alternativa para HADOOP-12074
• [SPARK-42657] [SC-128621][connect] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
• [SPARK-43098] [SC-77059][sql] Corrigir bug COUNT de correção quando a subconsulta escalar tem grupo por cláusula
• [SPARK-43213] [SC-129062][python] Adicionar DataFrame.offset ao vanilla PySpark
• [SPARK-42982] [SC-128400][connect][PYTHON] Corrigir createDataFrame para respeitar a definição de esquema fornecida (DDL)
• [SPARK-43124] [SC-129011][sql] Dataset.show projeta CommandResults localmente
• [SPARK-42998] [SC-127422][connect][PYTHON] Corrigir DataFrame.collect com struct nulo
• [SPARK-41498] [SC-125343]Reverter "Propagar metadados por meio de União"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Adicionar API await_termination() e exception() para Consulta de Streaming no Python
• [SPARK-42552] [SC-128824][sql] Corrigir a estratégia de dois estágios de análise do parser ANTLR
• [SPARK-43207] [SC-128937][connect] Adicionar funções auxiliares para extrair valor da expressão literal
• [SPARK-43186] [SC-128841][sql][HIVE] Remover solução alternativa para FileSinkDesc
• [SPARK-43107] [SC-128533][sql] Unir buckets em junção aplicados no lado do fluxo de junção de transmissão
• [SPARK-43195] [SC-128922][core] Remover wrapper serializável desnecessário no HadoopFSUtils
• [SPARK-43137] [SC-128828][sql] Aprimorar ArrayInsert se a posição for dobrável e positiva.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join deve retornar um valor nulo para linha sem correspondência
• [SPARK-43042] [SC-128602] [SS] [Connect] Adicionar suporte à API table() para DataStreamReader
• [SPARK-43153] [SC-128753][connect] Ignorar a execução do Spark quando o dataframe estiver local
• [SPARK-43064] [SC-128496][sql] A guia SQL da CLI sql do Spark só deve mostrar uma instrução uma vez
• [SPARK-43126] [SC-128447][sql] Marcar duas expressões UDF do Hive como com estado
• [SPARK-43111] [SC-128750][ps][CONNECT][python] Mesclar instruções aninhadas if em instruções simples if
• [SPARK-43113] [SC-128749][sql] Avaliar variáveis do lado da transmissão ao gerar código para uma condição vinculada
• [SPARK-42895] [SC-127258][connect] Aprimorar mensagens de erro para sessões do Spark interrompidas
• [SPARK-42884] [SC-126662][connect] Adicionar integração com o Ammonite REPL
• [SPARK-43168] [SC-128674][sql] Remover o método Get PhysicalDataType da classe Datatype
• [SPARK-43121] [SC-128455][sql] Use BytesWritable.copyBytes em vez de cópia manual em `HiveInspectors`
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog mantém metadados de CHAR/VARCHAR no lado de leitura
• [SPARK-43050] [SC-128550][sql] Corrigir expressões de agregação de constructo substituindo funções de agrupamento
• [SPARK-43095] [SC-128549][sql] Evitar que a idempotência da estratégia seja interrompida para o lote: Infer Filters
• [SPARK-43130] [SC-128597][sql] Mover InternalType para PhysicalDataType
• [SPARK-43105] [SC-128456][connect] Abreviar bytes e cadeias de caracteres na mensagem proto
• [SPARK-43099] [SC-128596][sql] Utilize getName em vez de getCanonicalName para obter o nome da classe do construtor ao registrar a udf no FunctionRegistry
• [SPARK-42994] [SC-128586][ml][CONNECT] O Distribuidor PyTorch dá suporte ao Modo Local
• [SPARK-42859] Reverter "[SC-127935][connect][PS] Suporte básico para a API do Pandas no Spark Connect"
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin não funciona ao usar o AQE
• [SPARK-43125] [SC-128477][connect] Corrigir o problema do servidor Connect que não consegue lidar com exceções com mensagens nulas.
• [SPARK-43147] [SC-128594] Corrigir o lint flake8 para verificação local
• [SPARK-43031] [SC-128360] [SS] [Connect] Habilitar teste de unidade e doctest para streaming
• [SPARK-43039] [LC-67] Suporte a campos personalizados na coluna _metadata da origem do arquivo.
• [SPARK-43120] [SC-128407][ss] Adicionar suporte para acompanhar o uso de memória de blocos fixados para o repositório de estado do RocksDB
• [SPARK-43110] [SC-128381][sql] Mover asIntegral para PhysicalDataType
• [SPARK-43118] [SC-128398][ss] Remover declaração desnecessária para UninterruptibleThread em KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][connect][PYTHON] Suporte a nomes de campo aninhados duplicados
• [SPARK-42437] [SC-128339][python][CONNECT] Catálogo do PySpark.cacheTable permitirá especificar o nível de armazenamento
• [SPARK-42985] [SC-128332][connect][PYTHON] Correção createDataFrame para respeitar as configurações do SQL
• [SPARK-39696] [SC-127830][core] Corrigir a corrida de dados no acesso a TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][sql] Movendo Integral para PhysicalDataType
• [SPARK-42741] [SC-125547][sql] Não cancelar desencapsulamento de conversões em comparação binária quando literal for nulo
• [SPARK-43057] [SC-127948][connect][PYTHON] Migrar erros da Coluna do Spark Connect para a classe de erro
• [SPARK-42859] [SC-127935][connect][PS] Suporte básico para a API pandas no Spark Connect
• [SPARK-43013] [SC-127773][python] Migrar ValueError do DataFrame para PySparkValueError.
• [SPARK-43089] [SC-128051][connect] Redigir cadeia de caracteres de depuração na interface do usuário
• [SPARK-43028] [SC-128070][sql] Adicionar classe de erro SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] Adicionar teste para dropDuplicates em JavaDatasetSuite
• [SPARK-43075] [SC-127939][conectar] Altere gRPC para grpcio quando não estiver instalado.
• [SPARK-42953] [SC-127809][connect] Filtro tipado, mapa, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] Suporte ao tipo de data de desencapsulamento para o tipo de carimbo de data/hora
• [SPARK-42931] [SC-127933][ss] Introduzir dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] Adicionar constantes de tipos de dados proto
• [SPARK-43077] [SC-128050][sql] Melhorar a mensagem de erro de UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][ss][Connect] APIs de DataStreamReader
• [SPARK-43049] [SC-127846][sql] Use CLOB em vez de VARCHAR(255) para StringType para Oracle JDBC
• [SPARK-43018] [SC-127762][sql] Corrigir bug para comandos INSERT com literais de carimbo de data/hora
• [SPARK-42855] [SC-127722][sql] Usar verificações nulas de runtime em TableOutputResolver
• [SPARK-43030] [SC-127847][sql] Deduplicar relações com colunas de metadados
• [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o Distribuidor PyTorch compatível com o Spark Connect
• [SPARK-43058] [SC-128072][sql] Transferir os tipos Numérico e Fracionário para PhysicalDataType
• [SPARK-43056] [SC-127946][ss] A confirmação do repositório de estado do RocksDB deve continuar o trabalho em segundo plano somente se sua pausa for pausada
• [SPARK-43059] [SC-127947][connect][PYTHON] Migrar TypeError de DataFrame(Reader|Writer) na classe de erro
• [SPARK-43071] [SC-128018][sql] Suporte a SELECT PADRÃO com ORDER BY, LIMIT, OFFSET para a relação de origem INSERT
• [SPARK-43061] [SC-127956][core][SQL] Introduzir PartitionEvaluator para execução do operador SQL
• [SPARK-43067] [SC-127938][ss] Corrigir o local do arquivo de recurso da classe de erro no conector Kafka
• [SPARK-43019] [SC-127844][sql] Mover a ordenação para PhysicalDataType
• [SPARK-43010] [SC-127759][python] Migrar erros de coluna para a classe de erro
• [SPARK-42840] [SC-127782][sql] Alterar o erro _LEGACY_ERROR_TEMP_2004 para erro interno
• [SPARK-43041] [SC-127765][sql] Restaurar construtores de exceções para compatibilidade na API do conector
• [SPARK-42939] [SC-127761][ss][CONNECT] API Python principal de streaming do Spark Connect
• [SPARK-42844] [SC-127766][sql] Atualizar a classe _LEGACY_ERROR_TEMP_2008 de erro para INVALID_URL
• [SPARK-42316] [SC-127720][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][connect][PYTHON] Migrar erros do DataFrame do Spark Connect para a classe de erro
• [SPARK-42983] [SC-127717][connect][PYTHON] Corrigir createDataFrame para manipular a matriz numpy de 0 dim corretamente
• [SPARK-42955] [SC-127476][sql] Ignorar classifyException e encapsular AnalysisException para SparkThrowable
• [SPARK-42949] [SC-127255][sql] Simplificar o código para NAAJ
• [SPARK-43011] [SC-127577][sql] array_insert deve ter falha com o índice 0
• [SPARK-42974] [SC-127487][core] Restaurar Utils.createTempDir para usar o método ShutdownHookManager e limpar o método JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' também significa que a tabela já existe
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME não pode qualificar um new-table-Name com um schema-Name
• [SPARK-37980] [SC-127668][sql] Acesse row_index via _metadata em testes, se possível
• [SPARK-42655] [SC-127591][sql] Erro de referência de coluna ambígua incorreto
• [SPARK-43009] [SC-127596][sql] sql() parametrizado com constantes Any
• [SPARK-43026] [SC-127590][sql] Aplicar o AQE com cache de tabela não exchange
• [SPARK-42963] [SC-127576][sql] Estender SparkSessionExtensions para injetar regras no otimizador de estágio de consulta do AQE
• [SPARK-42918] [SC-127357] Generalizar o tratamento de atributos de metadados no FileSourceStrategy
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Adicionar Catalog suporte
• [SPARK-42997] [SC-127535][sql] TableOutputResolver deve usar caminhos de coluna corretos em mensagens de erro para matrizes e mapas
• [SPARK-43006] [SC-127486][pyspark] Corrigir erro de digitação em StorageLevel eq()
• [SPARK-43005] [SC-127485][pyspark] Corrigir erro de digitação no pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][core] Corrigir erro de digitação em ResourceRequest.equals()
• [SPARK-42907] [SC-126984][connect][PYTHON] Implementar funções do Avro
• [SPARK-42979] [SC-127272][sql] Definir construtores literais como palavras-chave
• [SPARK-42946] [SC-127252][sql] Redigir dados confidenciais aninhados por substituição variável
• [SPARK-42952] [SC-127260][sql] Simplificar o parâmetro da regra do analisador PreprocessTableCreation e DataSourceAnalysis
• [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
• [SPARK-42853] [SC-126101][acompanhamento] Correção de conflitos
• [SPARK-42929] [SC-126748][connect] Fazer mapInPandas/mapInArrow dar suporte a "is_barrier"
• [SPARK-42968] [SC-127271][ss] Adicionar opção para ignorar o coordenador de confirmação como parte da API do StreamingWrite para fontes/coletores DSv2
• [SPARK-42954] [SC-127261][python][CONNECT] Adicionar YearMonthIntervalType ao cliente do PySpark e do Spark Connect Python
• [SPARK-41359] [SC-127256][sql] Use PhysicalDataType em vez de DataType em UnsafeRow
• [SPARK-42873] [SC-127262][sql] Definir tipos sql do Spark como palavras-chave
• [SPARK-42808] [SC-126302][core] Evitar obter availableProcessors todas as vezes em MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries deve ser definido InSubqueryExec#shouldBroadcast como true
• [SPARK-42896] [SC-126729][sql][PYTHON] Tornar mapInPandas / mapInArrow compatível com a execução em modo de barreira
• [SPARK-42874] [SC-126442][sql] Habilitar a nova estrutura de teste de arquivo dourado para análise para todos os arquivos de entrada
• [SPARK-42922] [SC-126850][sql] Mover de Aleatório para SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange refere-se a nós inexistentes
• [SPARK-40822] [SC-126274][sql] Aliases de colunas derivadas estáveis
• [SPARK-42908] [SC-126856][python] Lançar RuntimeError quando SparkContext é necessário mas não inicializado
• [SPARK-42779] [SC-126042][sql] Permitir gravações V2 para indicar o tamanho da partição de embaralhamento de consultoria
• [SPARK-42914] [SC-126727][python] Reutilizar transformUnregisteredFunction para DistributedSequenceID.
• [SPARK-42878] [SC-126882][conectar] A API de tabela no DataFrameReader também pode aceitar opções
• [SPARK-42927] [SC-126883][core] Alterar o escopo de acesso para o.a.spark.util.Iterators#sizeprivate[util]
• [SPARK-42943] [SC-126879][sql] Usar LONGTEXT em vez de TEXT para StringType para comprimento efetivo
• [SPARK-37677] [SC-126855][core] Descompactar pode manter permissões de arquivo
• [SPARK-42891] [13.x][SC-126458][CONNECT][python] Implementar a API de Mapeamento Coagrupado
• [SPARK-41876] [SC-126849][connect][PYTHON] Implementar DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][core][SQL] Altere o escopo de acesso de ProtobufSerDe implementações relacionadas para private[protobuf]
• [SPARK-42819] [SC-125879][ss] Adicionar suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usados no streaming
• [SPARK-42924] [SC-126737][sql][CONNECT][python] Esclarecer o comentário dos argumentos SQL parametrizados
• [SPARK-42748] [SC-126455][connect] Gerenciamento de artefatos do lado do servidor
• [SPARK-42816] [SC-126365][connect] Suporte para tamanho máximo de mensagem de até 128 MB
• [SPARK-42850] [SC-126109][sql] Remover regra duplicada CombineFilters no Otimizador
• [SPARK-42662] [SC-126355][connect][PS] Adicionar mensagem proto para a API pandas no índice padrão spark
• [SPARK-42720] [SC-126136][ps][SQL] Usa expressão para índice padrão de sequência distribuída em vez de plano
• [SPARK-42790] [SC-126174][sql] Abstrair o método excluído para melhor teste para testes do Docker JDBC.
• [SPARK-42900] [SC-126473][connect][PYTHON] Corrigir createDataFrame para respeitar a inferência e os nomes das colunas
• [SPARK-42917] [SC-126657][sql] Corrigir getUpdateColumnNullabilityQuery para DerbyDialect
• [SPARK-42684] [SC-125157][sql] O catálogo v2 não deve permitir o valor padrão da coluna por padrão
• [SPARK-42861] [SC-126635][sql] Use private[sql] em vez de protected[sql] para evitar gerar documento de API
• [SPARK-42920] [SC-126728][connect][PYTHON] Habilitar testes para UDF com UDT
• [SPARK-42791] [SC-126617][sql] Criar uma nova estrutura de teste de arquivo ouro para análise
• [SPARK-42911] [SC-126652][python] Introduza exceções mais básicas
• [SPARK-42904] [SC-126634][sql] Suporte a Char/Varchar para Catálogo JDBC
• [SPARK-42901] [SC-126459][CONNECT][PYTHON] Mover StorageLevel para um arquivo separado para evitar potencial file recursively imports
• [SPARK-42894] [SC-126451][connect] Suporte cache/persist/unpersist/storageLevel para o cliente JVM do Spark Connect
• [SPARK-42792] [SC-125852][ss] Adicionar suporte para WRITE_FLUSH_BYTES para RocksDB usado em operadores com estado de streaming
• [SPARK-41233] [SC-126441][connect][PYTHON] Adicionar array_prepend ao cliente do Spark Connect Python
• [SPARK-42681] [SC-125149][sql] Relaxar a restrição de ordenação para o descritor da coluna ALTER TABLE ADD|REPLACE
• [SPARK-42889] [SC-126367][connect][PYTHON] Implementar cache, persistir, não persistir e storageLevel
• [SPARK-42824] [SC-125985][connect][PYTHON] Forneça uma mensagem de erro clara para atributos JVM sem suporte
• [SPARK-42340] [SC-126131][connect][PYTHON] Implementar API de Mapa Agrupado
• [SPARK-42892] [SC-126454][sql] Mover sameType e os métodos relevantes para fora do DataType
• [SPARK-42827] [SC-126126][connect] Suporte functions#array_prepend para o cliente do Scala Connect
• [SPARK-42823] [SC-125987][sql] spark-sql Shell dá suporte a namespaces de várias partes para inicialização
• [SPARK-42817] [SC-125960][core] Registro em log do nome do serviço em ordem aleatória uma vez no ApplicationMaster
• [SPARK-42786] [SC-126438][connect] Seleção digitada
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] Implementar função ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] Codegen Support for HiveSimpleUDF
• [SPARK-41233] [SC-126110][sql][PYTHON] Adicionar array_prepend função
• [SPARK-42864] [SC-126268][ml][3.4] Tornar IsotonicRegression.PointsAccumulator privado
• [SPARK-42876] [SC-126281][sql] O physicalDataType do tipo de dados deve ser privado[sql]
• [SPARK-42101] [SC-125437][sql] Ajustar o AQE para suportar InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] Suporte a expressões GENERATED ALWAYS AS para colunas em instruções de tabela de criação/substituição
• [SPARK-42870] [SC-126220][conectar] Mover toCatalystValue para connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] Corrigir UserDefinedFunction para ter returnType
• [SPARK-42875] [SC-126258][connect][PYTHON] Corrigir toPandas para lidar com tipos de fuso horário e mapa corretamente
• [SPARK-42757] [SC-125626][connect] Implementar textFile para DataFrameReader
• [SPARK-42803] [SC-126081][core][SQL][ml] Use a função getParameterCount em vez de getParameterTypes.length
• [SPARK-42833] [SC-126043][sql] Refatorar applyExtensions em SparkSession
• [SPARK-41765] Reverter "[SC-123550][sql] Extrair métricas de gravação v1...
• [SPARK-42848] [SC-126105][connect][PYTHON] Implementar DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][connect][PYTHON] Suporte a UserDefinedType no Spark Connect
• [SPARK-42818] [SC-125861][connect][PYTHON] Implementar DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] Adicionar client_type à mensagem protobuf AddArtifactsRequest
• [SPARK-42772] [SC-125860][sql] Altere o valor padrão das opções JDBC sobre push para baixo para true
• [SPARK-42771] [SC-125855][sql] Refatorar HiveGenericUDF
• [SPARK-25050] [SC-123839][sql] Avro: escrevendo uniões complexas
• [SPARK-42765] [SC-125850][connect][PYTHON] Habilitar importação pandas_udf de pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation deve respeitar spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][sql] Melhorar o desempenho da exclusão de partições
• [SPARK-42689] [SC-125195][core][SHUFFLE] Permitir que ShuffleDriverComponent declare se os dados de shuffle são armazenados de forma confiável
• [SPARK-42726] [SC-125279][connect][PYTHON] Implementar DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] Efetuar pull de métricas de gravação v1 para WriteFiles
• [SPARK-41171] [SC-124191][sql] Inferir e reduzir o limite da janela pela janela se partitionSpec estiver vazio
• [SPARK-42686] [SC-125292][core] Adiar a formatação para mensagens de depuração no TaskMemoryManager
• [SPARK-42756] [SC-125443][connect][PYTHON] Função auxiliar para converter literal proto em valor no Cliente Python
• [SPARK-42793] [SC-125627][conectar] connect módulo requer build_profile_flags
• [SPARK-42701] [SC-125192][sql] Adicionar a try_aes_decrypt() função
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame não funciona com esquema não anulável
• [SPARK-42733] [SC-125542][connect][Followup] Gravar sem caminho ou tabela
• [SPARK-42777] [SC-125525][sql] Suporte à conversão de estatísticas do catálogo TimestampNTZ em estatísticas de plano
• [SPARK-42770] [SC-125558][connect] Adicionar truncatedTo(ChronoUnit.MICROS) para fazer SQLImplicitsTestSuite passar na tarefa de teste diário GA do Java 17
• [SPARK-42752] [SC-125550][pyspark][SQL] Tornar as exceções do PySpark imprimíveis durante a inicialização
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Suporte ao método getActiveSession da sessão do Spark Connect
• [SPARK-42755] [SC-125442][connect] Conversão de valor literal de fator para connect-common
• [SPARK-42747] [SC-125399][ml] Corrigir o status interno incorreto de LoR e AFT
• [SPARK-42740] [SC-125439][sql] Corrigir o bug de que o deslocamento ou paginação por push é inválido para algum dialeto interno
• [SPARK-42745] [SC-125332][sql] Expressão AliasAwareOutput melhorada funciona com DSv2
• [SPARK-42743] [SC-125330][sql] Suporte para analisar colunas TimestampNTZ
• [SPARK-42721] [SC-125371][connect] Interceptador de log RPC
• [SPARK-42691] [SC-125397][connect][PYTHON] Implementar Dataset.semanticHash
• [SPARK-42688] [SC-124922][connect] Renomear client_id de solicitação do proto Connect para session_id
• [SPARK-42310] [SC-122792][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][core] Otimizar rotinas Utils.bytesToString
• [SPARK-42725] [SC-125296][connect][PYTHON] Fazer com que LiteralExpression suporte parâmetros de array
• [SPARK-42702] [SC-125293][spark-42623][SQL] Suporte à consulta parametrizada em subconsulta e CTE
• [SPARK-42697] [SC-125189][webui] Correção de /api/v1/applications para retornar o tempo de atividade total em vez de 0 para o campo de duração
• [SPARK-42733] [SC-125278][connect][PYTHON] Corrigir DataFrameWriter.save para funcionar sem parâmetro de caminho
• [SPARK-42376] [SC-124928][ss] Introduzir propagação de marca d'água entre operadores
• [SPARK-42710] [SC-125205][connect][PYTHON] Renomear proto FrameMap para MapPartitions
• [SPARK-37099] [SC-123542][sql] Introduzir o limite de grupo de Janela para filtro baseado em classificação para otimizar a computação top-k
• [SPARK-42630] [SC-125207][connect][PYTHON] Introduza UnparsedDataType e adie a análise da string DDL até que SparkConnectClient esteja disponível
• [SPARK-42690] [SC-125193][connect] Implementar funções de análise CSV/JSON para o cliente Scala
• [SPARK-42709] [SC-125172][python] Remova a suposição de __file__ estar disponível
• [SPARK-42318] [SC-122648][spark-42319][SQL] Atribuir nome a LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][sql] Suporte ao tipo de dados do analisador json "timestamp_ltz" como TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() não deve armazenar em cache o esquema
• [SPARK-42643] [SC-125152][connect][PYTHON] Registrar funções definidas pelo usuário Java (funções de agregação)
• [SPARK-42656] [SC-125177][conectar][Acompanhamento] Corrigir o script spark-connect
• [SPARK-41516] [SC-123899] [SQL] Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela
• [SPARK-41725] [SC-124396][connect] Execução imediata de DF.sql()
• [SPARK-42687] [SC-124896][ss] Mensagem de erro melhor para a operação sem suporte de pivot no Streaming
• [SPARK-42676] [SC-124809][ss] Gravar pontos de verificação temporários para consultas de streaming no sistema de arquivos local, mesmo que o FS padrão seja definido de forma diferente
• [SPARK-42303] [SC-122644][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] Verifique pelo menos uma unidade de tempo após "intervalo"
• [SPARK-42649] [SC-124576][core] Remova o cabeçalho padrão do Apache License da parte superior dos arquivos de origem de terceiros
• [SPARK-42611] [SC-124395][sql] Inserir verificações de comprimento char/varchar para campos internos durante a resolução
• [SPARK-42419] [SC-124019][connect][PYTHON] Migrar para a estrutura de erros para a API de Coluna do Spark Connect.
• [SPARK-42637] [SC-124522][connect] Adicionar SparkSession.stop()
• [SPARK-42647] [SC-124647][python] Alterar alias para tipos numpy preteridos e removidos
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver só deve fechar o hive sessionState iniciado
• [SPARK-42593] [SC-124405][ps] Descontinuar e remover as APIs que serão removidas no pandas 2.0.
• [SPARK-41870] [SC-124402][connect][PYTHON] Correção de createDataFrame para lidar com nomes de coluna duplicados
• [SPARK-42569] [SC-124379][connect] Gerar exceções para a API de sessão sem suporte
• [SPARK-42631] [SC-124526][conectar] Suporte para extensões personalizadas no cliente Scala
• [SPARK-41868] [SC-124387][connect][PYTHON] Corrigir createDataFrame para dar suporte a durações
• [SPARK-42572] [SC-124171][sql][SS] Corrigir comportamento para StateStoreProvider.validateStateRowFormat

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN da Microsoft em 10/02/2023.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)