Databricks Runtime 18.1

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 18.1.

Essa versão incorpora todos os recursos, melhorias e correções de bug de todas as versões anteriores do Databricks Runtime. O Databricks lançou esta versão em fevereiro de 2026.

Alterações comportamentais

• Erros de métrica de observação não falham mais em consultas
• Gravações otimizadas para operações CRTAS do Catálogo do Unity
• Atualização de cache do DataFrame para tabelas de controle de acesso refinadas
• Valores de partição de timestamps usam o fuso horário da sessão
• DESCRIBE FLOW é uma palavra-chave reservada
• Operações de conjunto booleano SpatialSQL
• Tipos de exceção para SQLSTATE
• Expansão automática de tipo de streaming

Erros de métrica de observação não causam mais falhas em consultas

Erros durante a coleta de métricas de observação não causam mais falhas de execução de consulta. Anteriormente, erros em OBSERVE cláusulas (como divisão por zero) podiam bloquear ou falhar a consulta inteira. Agora, a consulta é concluída com êxito e o erro é gerado quando você chama observation.get.

Gravações otimizadas para operações CRTAS do Catálogo do Unity

As operações CREATE OR REPLACE TABLE AS SELECT (CRTAS) em tabelas particionadas do Catálogo do Unity agora aplicam gravações otimizadas por padrão. Para desabilitar, defina spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled como false.

Atualização de cache do DataFrame para tabelas de controle de acesso refinadas

A gravação em tabelas com controle de acesso detalhado em computação dedicada agora atualiza DataFrames em cache que dependem da tabela.

Valores de partição de carimbo de data/hora usam o fuso horário da sessão

Os valores de partição de timestamp usam o fuso horário da sessão Spark em vez do fuso horário JVM. Se você tiver partições de carimbo de data/hora gravadas antes do Databricks Runtime 18.0, execute SHOW PARTITIONS para verificar os metadados de partição antes de gravar novos dados.

Palavra-chave reservada DESCRIBE FLOW

O DESCRIBE FLOW comando agora está disponível. Se você tiver uma tabela chamada flow, use DESCRIBE schema.flow, DESCRIBE TABLE flow ou DESCRIBE `flow` com backticks.

Operações de conjunto booleanas do SpatialSQL

ST_Difference, ST_Intersection, e ST_Union use uma nova implementação com as seguintes melhorias:

• Geometrias de entrada válidas sempre produzem um resultado e não geram mais erros. Entradas inválidas não geram erros, mas podem não produzir resultados válidos.
• Desempenho aproximadamente 2x mais rápido.
• Os resultados podem diferir após o 15º local decimal para interseções de segmento de linha devido a fórmulas e ordem de operações diferentes.
• Os resultados são normalizados para uma saída consistente e comparável:
  • Os pontos são classificados por valores de coordenadas.
  • As linestrings são criadas a partir dos caminhos mais longos possíveis.
  • Os anéis de polígono são girados para que o primeiro ponto tenha os menores valores de coordenadas.
• Essa normalização se aplica em todos os casos, exceto ao chamar ST_Difference com duas geometrias não sobrepostas, em que a primeira geometria é retornada sem modificação.

Tipos de exceção para SQLSTATE

Os tipos de exceção são atualizados para dar suporte ao SQLSTATE. Se o seu código analisar exceções por comparação de strings ou capturar tipos de exceção específicos, atualize a lógica de tratamento de erros.

Ampliação automática do tipo de fluxo

As leituras de streaming em tabelas Delta lidam automaticamente com a ampliação de tipos de coluna. Para exigir confirmação manual, defina spark.databricks.delta.typeWidening.enableStreamingSchemaTracking como true.

Novos recursos e melhorias

• O Carregador Automático usa eventos de arquivo por padrão quando disponível
• Gravações otimizadas para tabelas do Catálogo do Unity particionadas, criadas com CRTAS
• Suporte ao tipo de dados DATETIMEOFFSET para o Microsoft Azure Synapse
• Comentários da tabela do Google BigQuery
• Ler e gravar dados com conexões JDBC
• Evolução do esquema com INSERT declarações
• Preservação de valores NULL em estruturas nas operações INSERT
• Suporte a transações com múltiplas instruções no Compartilhamento do Delta
• Pontos de verificação do DataFrame em caminhos de volume
• Os comandos SQL não são mais executados novamente ao chamar cache()
• Função SQL parse_timestamp
• max_by e min_by com limite opcional
• Função agg SQL como sinônimo de medida
• Medidas de janela de período a período com offset
• Incluir ou excluir a linha âncora nas medidas de janela trailing e leading
• Agregação de vetor e funções escalares
• Suporte ao cursor SQL em instruções compostas
• Funções de esquemas top-k aproximadas
• Funções de esboço de tupla
• Dependências personalizadas para UDTFs Python do Catálogo do Unity
• UDTFs polimórficas em Python do Unity Catalog
• Novas funções geoespaciais
• Suporte a fótons para funções geoespaciais

O Carregador Automático usa eventos de arquivo por padrão quando disponível

O Carregador Automático usa eventos de arquivo por padrão ao carregar de um local externo com eventos de arquivo habilitados, o que reduz as operações de lista e o custo em comparação com a listagem de diretórios. Consulte o Carregador Automático com visão geral de eventos de arquivo. Os eventos de arquivo não serão usados se seu código de fluxo definir useIncrementalListing ou useNotifications. Para usar a listagem de diretórios, defina useManagedFileEvents como false.

Gravações otimizadas para tabelas particionadas no Unity Catalog criadas com CRTAS

As gravações otimizadas aplicam-se a tabelas particionadas do Catálogo do Unity criadas por CREATE OR REPLACE TABLE ... AS SELECT (CRTAS), produzindo menos arquivos maiores. Esse comportamento é habilitado por padrão. Para desabilitar, defina spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled como false.

Suporte ao tipo de dados DATETIMEOFFSET para o Microsoft Azure Synapse

O tipo de dados DATETIMEOFFSET tem suporte para conexões do Microsoft Azure Synapse.

Comentários da tabela do Google BigQuery

As descrições da tabela do Google BigQuery são resolvidas e expostas como comentários de tabela.

Ler e gravar dados com conexões JDBC

Use uma conexão JDBC para ler e gravar em uma fonte de dados com a API de Fonte de Dados do Spark ou a API SQL de Consulta Remota do Databricks.

Evolução do esquema com instruções INSERT

Use a WITH SCHEMA EVOLUTION cláusula com instruções SQL INSERT para evoluir automaticamente o esquema da tabela de destino durante as operações de inserção. Há suporte de cláusula para as formas INSERT INTO, INSERT OVERWRITE e INSERT INTO ... REPLACE. Por exemplo:

INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;

O esquema da tabela do Delta Lake de destino é atualizado para acomodar colunas adicionais ou tipos ampliados da origem. Para obter detalhes, consulte a evolução do esquema e INSERT a sintaxe da instrução.

Valores de struct NULL preservados em operações INSERT

Operações INSERT com evolução de esquema ou conversão implícita preservam valores de struct NULL quando as tabelas de origem e destino possuem ordens de campos de struct diferentes.

Suporte para transações multideclarações no Delta Sharing

As tabelas do Compartilhamento do Delta que utilizam modos de compartilhamento via URL pré-assinada ou token de nuvem oferecem suporte a transações com múltiplas instruções. No primeiro acesso dentro de uma transação, a versão da tabela é fixada e reutilizada para todas as leituras subsequentes nessa transação.

Limitations:

• Não há suporte para viagem no tempo, fluxo de dados de alteração e streaming.
• Transações com múltiplas instruções não recebem suporte em tabelas compartilhadas sem histórico.
• Visões compartilhadas e entidades externas não são permitidas em ambiente de computação não confiável.

Pontos de verificação do DataFrame em caminhos de volume

Os pontos de verificação do DataFrame suportam caminhos de volume do Unity Catalog. Configure o caminho do ponto de verificação usando SparkContext.setCheckpointDir na computação dedicada ou a configuração spark.checkpoint.dir na computação padrão.

Os comandos SQL não são mais executados novamente ao chamar cache()

Os comandos SQL não são mais reexecutados quando se chama o DataFrame de resultado através de .cache(). Isso inclui comandos como SHOW TABLES e SHOW NAMESPACES.

função SQL parse_timestamp

A função PARSE_TIMESTAMP SQL analisa cadeias de caracteres de carimbo de data/hora usando vários padrões. A função é executada na plataforma Photon para melhorar o desempenho ao analisar timestamps em vários formatos. Consulte padrões datetime para obter informações sobre a formatação de padrão datetime.

max_by e min_by com limite opcional

As funções de agregação max_by e min_by agora aceitam um terceiro argumento limit opcional (até 100.000). Quando fornecidas, as funções retornam uma matriz de até limit valores correspondentes aos maiores (ou menores) valores da expressão de ordenação, simplificando as consultas dos K itens principais e dos K últimos itens sem funções de janela ou CTEs.

Função agg SQL como sinônimo de medida

A nova função agg é um sinônimo de medida. Use agg(measure_column) como uma alternativa mais curta ao consultar medidas em uma visão de métrica.

Medidas de janela de período a período com offset

As medidas de janela em visualizações métricas oferecem suporte a um campo offset que desloca a janela para trás ou para frente na dimensão order por um intervalo fixo. Use offset para definir medidas de período a período, como ano a ano ou mês a mês. Veja Como offset desloca o quadro da janela.

Incluir ou excluir a linha âncora nas medidas de janela trailing e leading

Os valores de intervalo trailing e leading para medidas de janela aceitam um modificador opcional inclusive ou exclusive que controla se a linha âncora faz parte da janela móvel. O padrão é exclusive, que corresponde ao comportamento anterior. Consulte Incluir ou excluir a linha de âncora.

Agregação de vetor e funções escalares

Novas funções SQL operam em vetores ARRAY<FLOAT> para cargas de trabalho de incorporação e similaridade:

Funções de agregação:

• vector_avg: retorna a média de vetores em termos de elemento em um grupo.
• vector_sum: retorna a soma de vetores em termos de elemento em um grupo.

Funções escalares:

• vector_cosine_similarity: retorna a similaridade do cosseno de dois vetores.
• vector_inner_product: retorna o produto interno (ponto) de dois vetores.
• vector_l2_distance: retorna a distância euclidiana (L2) entre dois vetores.
• vector_norm: retorna a norma LP de um vetor (1, 2 ou infinito).
• vector_normalize: retorna um vetor normalizado para o comprimento da unidade.

Consulte funções internas.

Suporte ao cursor SQL em instruções compostas

As declarações compostas de script SQL agora oferecem suporte para o processamento de cursores. Use DECLARE CURSOR para definir um cursor e então utilize uma instrução OPEN, uma instrução FETCH e uma instrução CLOSE para executar a consulta e consumir as linhas uma de cada vez. Os cursores podem usar marcadores de parâmetro e manipuladores de condição, como NOT FOUND para processamento linha por linha.

Funções de esboço aproximadas top-k

As novas funções permitem a criação e a combinação de esboços dos K itens principais aproximados para agregação distribuída dos K itens principais:

• approx_top_k_accumulate: Constrói um esboço por grupo.
• approx_top_k_combine: mescla esboços.
• approx_top_k_estimate: retorna os K itens principais com contagens estimadas.

Para obter mais informações, consulte approx_top_k a função de agregação e as funções internas.

Funções de esboço de tupla

Novas funções agregadas e escalares para esboço de tupla dão suporte a contagem e agregação distintas em pares de resumo de chave.

Funções de agregação:

• tuple_sketch_agg_double função de agregação
• tuple_sketch_agg_integer função de agregação
• tuple_union_agg_double função de agregação
• tuple_union_agg_integer função de agregação
• tuple_intersection_agg_double função de agregação
• tuple_intersection_agg_integer função de agregação

Funções escalares:

• tuple_sketch_estimate
• tuple_sketch_summary
• tuple_sketch_theta
• tuple_union
• tuple_intersection
• tuple_difference

Consulte funções internas.

Dependências personalizadas para Unity Catalog Python UDTFs

As funções de tabela definidas pelo usuário (UDTFs) do Python no Unity Catalog agora podem usar dependências personalizadas para bibliotecas externas, permitindo que você utilize pacotes além do que está disponível no ambiente do Databricks Runtime. Consulte Estender UDFs usando dependências personalizadas.

UDTFs Python polimórficas do Catálogo do Unity

Unity Catalog Python UDTFs agora dá suporte a esquemas de saída polimórficos (dinâmicos). Você pode criar um UDTF RETURNS TABLE sem especificar definições de coluna e definir um analyze() método na classe de manipulador para determinar o esquema de saída dinamicamente no momento da consulta. Isso permite que uma única função retorne colunas diferentes com base em seus argumentos de entrada. Consulte Calcular um esquema de saída dinâmico (UDTFs polimórficos).

Novas funções geoespaciais

As seguintes funções geoespaciais agora estão disponíveis:

• st_estimatesrid função: Estima o melhor identificador de referência espacial projetado (SRID) para uma geometria de entrada.
• st_force2d função: converte uma geografia ou geometria em sua representação 2D.
• st_nrings função: conta o número total de anéis em um polígono ou multipolígono, incluindo anéis externos e interiores.
• st_numpoints função: conta o número de pontos não vazios em uma geografia ou geometria.

Suporte a fótons para funções geoespaciais

As seguintes funções geoespaciais agora são executadas no mecanismo photon para obter um desempenho mais rápido:

• st_difference função
• st_intersection função
• st_union função

Atualizações de biblioteca

Nenhuma biblioteca foi atualizada nesta versão.

Apache Spark

O Databricks Runtime 18.1 inclui o Apache Spark 4.1.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 18.0, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• SPARK-54316 Reverter "Reaplicar [SC-213971] Consolidar GroupPandasIterUDFSerializer com GroupPandasUDFSerializer"
• SPARK-54116 Reverter "[SC-213108][SQL] Adicionar suporte ao modo off-heap para LongHashedRelation"
• SPARK-55350 Corrigir a perda de contagem de linhas ao criar um DataFrame do pandas com 0 colunas
• SPARK-55364 Tornar o protocolo SupportsIAdd e SupportsOrdering mais razoável
• SPARK-53656 Refatorar MemoryStream para usar SparkSession em vez de SQLContext
• SPARK-55472 Gerar AttributeError dos métodos removidos no pandas 3
• SPARK-55224 Usar o DataType do Spark como referência na serialização Pandas-Arrow
• SPARK-55402 Mover streamingSourceIdentifyingName de CatalogTable para DataSource
• SPARK-55459 Corrigir regressão de desempenho 3x em applyInPandas para grupos grandes
• SPARK-55317 Adicionar o nó de plano lógico SequentialUnion e a regra de planejamento
• SPARK-55424 Passar explicitamente o nome da série em convert_numpy
• SPARK-55175 Extrair to_pandas transformador dos serializadores
• SPARK-55304 Introduzir suporte a controle de admissão e Trigger.AvailableNow na fonte de dados Python – leitor de streaming
• SPARK-55382 Criar Executor para registrar em log Running Spark version
• SPARK-55408 Tratar erros inesperados de argumentos de palavra-chave relacionados a datetime no pandas 3
• SPARK-55345 Não passar unit nem closed para Timedelta no pandas 3
• SPARK-54759 Proteger corretamente a lógica no Gerenciador de Variáveis de Script após a introdução do Cursor
• SPARK-55409 Tratar um erro de argumento de palavra-chave inesperado do read_excel com o pandas 3
• SPARK-55403 Corrigir no attribute 'draw' o erro nos testes de plotagem com o pandas 3
• SPARK-55256 Reverter "[SC-218596][SQL] Suporte a IGNORE NULLS / RESPECT NULLS para array_agg e collect_list"
• SPARK-55256 Suporte a IGNORE NULLS / RESPECT NULLS para array_agg e collect_list
• SPARK-55395 Desabilitar o cache RDD em DataFrame.zipWithIndex
• SPARK-55131 Introduzir um novo delimitador de operador de mesclagem para o RocksDB definido como uma cadeia de caracteres vazia, para permitir a concatenação sem delimitador
• SPARK-55376 Fazer com que o argumento numeric_only nas funções groupby aceite apenas valores booleanos no pandas 3
• SPARK-55334 Habilitar TimestampType e TimestampNTZType em convert_numpy
• SPARK-55281 Adicionar ipykernel e IPython à lista de pacotes opcionais mypy
• SPARK-55336 Deixe o createDF usar o fluxo lógica create_batch para desassociar
• SPARK-55366 Remover errorOnDuplicatedFieldNames dos UDFs em Python
• SPARK-54759 Suporte ao cursor em scripts SQL
• SPARK-55302 Corrigir métricas personalizadas em caso de KeyGroupedPartitioning
• SPARK-55228 Implementar Dataset.zipWithIndex na API do Scala
• SPARK-55373 Melhorar a mensagem de erro noHandlerFoundForExtension
• SPARK-55356 Alias de suporte para a cláusula PIVOT
• SPARK-55359 Promover TaskResourceRequest para Stable
• SPARK-55365 Generalizar os utilitários para conversão de matriz Arrow
• SPARK-55106 Adicionar teste de integração de reparticionamento para operadores TransformWithState
• SPARK-55086 Adicionar DataSourceReader.pushFilters aos documentos da API da Fonte de Dados Python
• SPARK-46165 Adicionar suporte para DataFrame.all axis=None
• SPARK-55289 Reverter "[SC-218749][SQL] Corrigir teste instável in-set-operations.sql desabilitando o broadcast join"
• SPARK-55297 Restaurar o dtype timedelta com base no dtype original
• SPARK-55291 Pré-processar cabeçalhos de metadados durante a construção do interceptador do cliente
• SPARK-55155 Reaplicar "[SC-218401][SQL] Suportar expressões dobráveis na instrução SET CATALOG
• SPARK-55318 Otimizações de desempenho para vector_avg/vector_sum
• SPARK-55295 Estender a função ST_GeomFromWKB para obter um valor SRID opcional
• SPARK-55280 Adicionar o proto GetStatus para dar suporte ao monitoramento de status de execução
• SPARK-54969 Implementar a nova conversão de arrow->pandas
• SPARK-55176 Extrair o conversor arrow_to_pandas para ArrowArrayToPandasConversion
• SPARK-55111 Reverter "[SC-217817][SC-210791][SS] Detecção de reparticionamento inacabado na reinicialização da consulta"
• SPARK-55252 Melhorar HttpSecurityFilter para adicionar Content-Security-Policy cabeçalho
• SPARK-55111 Detecção de reparticionamento inacabado no reinício da consulta
• SPARK-55105 Adicionar teste de integração para o operador join
• SPARK-55260 Implementar suporte à gravação de Parquet para tipos geográficos
• SPARK-54523 Corrigir a resolução padrão durante o pushdown de variantes
• SPARK-55328 Reutilizar PythonArrowInput.codec em GroupedPythonArrowInput
• SPARK-55246 Adicionar teste para Pyspark TWS e TWSInPandas e corrigir bug em StatePartitionAllColumnFamiliesWriter
• SPARK-55289 Corrigir teste instável em in-set-operations.sql desabilitando o broadcast join
• SPARK-55040 Refatorar o TaskContext e o protocolo de worker relacionado com a correção do mecanismo PySpark
• SPARK-47996 dá suporte à mesclagem cruzada na API do Pandas
• SPARK-55031 Adicionar expressões de função de agregação vector avg/sum
• SPARK-54410 Corrigir o suporte de leitura para a anotação de tipo lógico variante
• SPARK-54776 Reverter "[SC-216482][SQL] Melhoria na mensagem de log referente a funções lambda com UDFs SQL"
• SPARK-55123 Adicionar SequentialUnionOffset para acompanhar o processamento de origem sequencial
• SPARK-54972 Aprimorar subconsultas NOT IN com colunas não anuláveis
• SPARK-54776 Melhoria na mensagem de log referente à função lambda com SQL UDF
• SPARK-53807 Corrigir problemas de condição de corrida entre unlock e releaseAllLocksForTask em BlockInfoManager
• SPARK-51831 Reverter "[SC-207389][SQL] Poda de colunas com existsJoin para Datasource V2"
• SPARK-54881 Melhorar BooleanSimplification para lidar com negação de conjunção e disjunção em uma única etapa
• SPARK-54696 Limpeza dos ArrowBuffers no módulo Connect
• SPARK-55009 Remover a cópia de memória desnecessária do construtor de LevelDBTypeInfo/RocksDBTypeInfo.Index
• SPARK-54877 Tornar a exibição de stacktrace configurável na página de erro da interface do usuário
• SPARK-51831 Poda de coluna com existsJoin para Datasource V2
• SPARK-55285 Corrigir a inicialização de PythonArrowInput
• SPARK-53960 Permitir que approx_top_k_accumulate/combine/estimate lidem com valores NULL
• SPARK-55155 Reverter "[SC-218401][SQL] Suporte a expressões dobráveis na instrução SET CATALOG"
• SPARK-55155 Suporte a expressões dobráveis na instrução SET CATALOG
• SPARK-49110 Reverter "[SC-218594][SQL] Simplificar SubqueryAlias.metadataOutput para sempre propagar colunas de metadados"
• SPARK-54399 Implementar a função st_setsrid no Scala e no PySpark
• SPARK-49110 Simplificar SubqueryAlias.metadataOutput para propagar de forma consistente colunas de metadados
• SPARK-55133 Corrigir condição de corrida no gerenciamento do ciclo de vida do IsolatedSessionState
• SPARK-55262 Bloquear tipos geográficos em todas as fontes de dados baseadas em arquivo, exceto Parquet
• SPARK-54202 Permitir a conversão de GeometryType(srid) para GeometryType(ANY)
• SPARK-54142 Implementar a função st_srid no Scala e no PySpark
• SPARK-55237 Suprimir mensagens irritantes ao procurar bancos de dados inexistentes
• SPARK-55040 Reverter "[SC-217628][PYTHON] Refatorar TaskContext e o protocolo de trabalho relacionado"
• SPARK-55259 Implementar a conversão de esquema Parquet para tipos geográficos
• SPARK-55282 Evitar usar worker_util no lado do Driver
• SPARK-54151 Introduzir a estrutura para adicionar funções ST no PySpark
• SPARK-55194 Remover o GroupArrowUDFSerializer movendo a lógica de achatamento para o mapeador
• SPARK-55020 Desabilitar o gc ao executar o comando gRPC
• SPARK-55053 Refatorar os trabalhos de análise de fonte de dados/UDTF para que tenham um ponto de entrada unificado
• SPARK-55040 Refatorar TaskContext e o protocolo de trabalho relacionado
• SPARK-55244 Usar np.nan como valor padrão para tipos de string do pandas
• SPARK-55225 Restaurar para o dtype original de Datetime
• SPARK-55154 Remover o caminho rápido para pd.Series para o pandas 3
• SPARK-55030 Adicionar suporte a expressões de norma vetorial/normalização de funções
• SPARK-55202 Corrija UNEXPECTED_USE_OF_PARAMETER_MARKER ao usar o parâmetro...
• SPARK-54201 Permitir a conversão de GeographyType(srid) para GeographyType(ANY)
• SPARK-54244 Introduzir suporte à coerção de tipos para tipos de dados GEOMETRY
• SPARK-54160 Implementar a expressão ST_SetSrid no SQL
• SPARK-55046 Adicionar métrica de tempo de processamento ao udf do PySpark
• SPARK-54101 Introduzir a estrutura para adicionar funções ST no Scala
• SPARK-54683 Unificar o bloqueio de tipos geográficos e de tempo
• SPARK-55249 Tornar DataFrame.toJSON capaz de retornar dataframe
• SPARK-54521 Adicionar suporte de/para WKB para o tipo Geometry
• SPARK-54162 Permitir a conversão de GeographyType para GeometryType
• SPARK-55146 API de repartição de estado de nova verificação para PySpark
• SPARK-55140 Não mapear funções embutidas para a versão do NumPy no pandas 3
• SPARK-54243 Introduzir suporte à coerção de tipos para tipos de dados GEOGRAPHY
• SPARK-55058 Gerar erro em metadados de ponto de verificação inconsistentes
• SPARK-55108 Usar a versão mais recente do pandas-stubs para verificação de tipos
• SPARK-54091 Implementar a expressão ST_Srid no SQL
• SPARK-55104 Adicionar suporte do Spark Connect para DataStreamReader.name()
• SPARK-54996 Reportar ArrivalTime para os registros de LowLatencyMemoryStream
• SPARK-55118 Substituir importações curinga de opcodes do ASM
• SPARK-54365 Adicionar o Teste de Integração de Repartição para operadores Aggregate, Dedup, FMGWS e SessionWindow
• SPARK-55119 Corrigir manipulador de continuação: evita INTERNAL_ERROR e a interrupção incorreta de instruções condicionais
• SPARK-54104 Não permitir a conversão de tipos geoespaciais de/para outros tipos de dados
• SPARK-55240 Refatorar o tratamento de stacktrace do LazyTry para usar um wrapper em vez de uma exceção suprimida
• SPARK-55238 Mover a lógica de mapeamento do SRS geográfico de main/scala para main/java
• SPARK-55179 Ignorar a validação imediata do nome da coluna em df.col_name
• SPARK-55055 Suporte a SparkSession.Builder.create para PySpark Classic
• SPARK-55186 Tornar ArrowArrayToPandasConversion.convert_legacy capaz de retornar um pd.DataFrame
• SPARK-54079 Introduzir a estrutura para adicionar expressões ST no Catalyst
• SPARK-54096 Suporte ao mapeamento do sistema de referência espacial no PySpark
• SPARK-54801 Marcar algumas novas configurações 4.1 como internas
• SPARK-55146 Reverter "[SC-217936][SC-210779][SS] API de Repartição de Estado para PySpark"
• SPARK-54559 Usar runnerConf para passar a opção do profiler
• SPARK-55205 Corrigir testes em que ele pressupõe que o tipo de cadeia de caracteres será convertido em objeto
• SPARK-55171 Corrigir o profiler de memória na UDF de iteração
• SPARK-55226 Reconhecer datetime e timedelta com unidades diferentes de [ns]
• SPARK-55027 Mover writeConf para PythonWorkerUtils
• SPARK-55197 Extrair auxiliar _write_stream_start para eliminar a duplicação da lógica do sinal START_ARROW_STREAM
• SPARK-54179 Adicionar suporte nativo para Apache Tuple Sketches (#190848) (#191111)
• SPARK-55151 Corrigir o teste testWithStateStoreCheckpointIds do RocksDBSuite
• SPARK-55146 API de Repartição de Estado para PySpark
• SPARK-54232 Habilitar a serialização Arrow para tipos de Geografia e Geometria
• SPARK-53957 Suporte a GEOGRAPHY e GEOMETRY no SpatialReferenceSystemMapper
• SPARK-55169 Usar ArrowBatchTransformer.flatten_struct no ArrowStreamArrowUDTFSerializer
• SPARK-55134 Corrigir BasicExecutorFeatureStep para gerar IllegalArgumentException para configurações incorretas de cpu do executor
• SPARK-54166 Introduzir codificadores de tipo para tipos geoespaciais no PySpark
• SPARK-55138 Corrigir convertToMapData gerando um NullPointerException
• SPARK-55168 Usar ArrowBatchTransformer.flatten_struct em GroupArrowUDFSerializer
• SPARK-55032 Refatorar criadores de perfil em workers.py
• SPARK-54990 Correção de como a classeproperty é implementada no session.py
• SPARK-55076 Corrigir o problema de dica de tipo em ml/mllib e adicione a dependência do scipy
• SPARK-55162 Extrair transformadores do ArrowStreamUDFSerializer
• SPARK-55121 Adicionar DataStreamReader.name() ao PySpark Clássico
• SPARK-54169 Introduzir tipos de geografia e geometria no gravador Arrow
• SPARK-51658 Introduzir formas de encapsulamento de geometria e geografia na memória
• SPARK-54110 Introduzir codificadores de tipo para tipos de geografia e geometria
• SPARK-54956 Unificar a solução de nova tentativa para embaralhamento indeterminado
• SPARK-55137 Refatorar GroupingAnalyticsTransformer e Analyzer código
• SPARK-54103 Introduzir classes de geografia e geometria do cliente
• SPARK-55160 Passar diretamente o esquema de entrada para serializadores
• SPARK-55170 Extrair o padrão de leitura de fluxo agrupado dos serializadores
• SPARK-55125 Remover métodos redundantes __init__ em serializadores de Arrow
• SPARK-55126 Remover fuso horário não utilizado e assign_cols_by_name de ArrowStreamArrowUDFSerializer
• SPARK-54980 Converter o nível de isolamento JDBC em uma cadeia de caracteres
• SPARK-55051 Cadeia de bytes aceita KiB, MiB, GiB, TiB, PiB
• SPARK-55025 Melhorar o desempenho no Pandas usando compreensão de listas
• SPARK-46165 Adicione suporte para pandas. DataFrame.all axis=1
• SPARK-55037 Implementar novamente a observação sem usar o QueryExecutionListener
• SPARK-54965 Remover o pa.Array legado -> pd.Series converter
• SPARK-55016 Tornar o SQLConf uma propriedade direta do SparkSession para evitar o estouro da pilha
• SPARK-55091 Reduzir chamadas RPC do Hive para o comando DROP TABLE
• SPARK-55097 Corrigir o problema de blocos descartados de forma silenciosa ao adicionar novamente artefatos em cache
• SPARK-55026 Otimize BestEffortLazyVal.
• SPARK-55091 Reverter "[SC-217410][SQL] Reduzir chamadas de RPC do Hive para o comando DROP TABLE"
• SPARK-54590 Suporte ao ponto de verificação V2 para reescrita de estado e reparticionamento
• SPARK-55016 Tornar o SQLConf uma propriedade direta do SparkSession para evitar o estouro da pilha
• SPARK-55091 Reduzir chamadas RPC do Hive para o comando DROP TABLE
• SPARK-55016 Reverter "[SC-217401][SQL] Tornar SQLConf uma propriedade direta do SparkSession para evitar excedente de pilha"
• SPARK-55016 Tornar o SQLConf uma propriedade direta do SparkSession para evitar o estouro da pilha
• SPARK-55098 UDFs vetorizadas com controle de tamanho de lote de saída falham devido a vazamento de memória
• SPARK-54824 Adicionar suporte para multiGet e deleteRange para o Repositório de Estado do Rocksdb
• SPARK-55054 Adicionar suporte a IDENTIFIED BY para funções de streaming que retornam tabelas
• SPARK-55029 Propagar o nome de identificação da fonte de streaming por meio do pipeline de resolução
• SPARK-55071 Fazer o spark.addArtifact funcionar com caminhos Windows
• SPARK-54103 Reverter "[SC-210400][Geo][SQL] Introduzir classes Geography e Geometry no cliente"
• SPARK-54103 Introduzir classes de geografia e geometria do cliente
• SPARK-54033 Introduzir classes de execução geoespaciais do lado do servidor Catalyst
• SPARK-54176 Introduzir tipos de dados Geografia e Geometria no PySpark Connect
• SPARK-55089 Corrigir o esquema de saída de toJSON
• SPARK-55035 Realizar a limpeza do shuffle nas execuções filhas
• SPARK-55036 Adicionar ArrowTimestampConversion para o tratamento de fusos horários no Arrow
• SPARK-54873 Simplificar a resolução V2TableReference, pois somente a exibição temporária pode contê-la
• SPARK-52828 Tornar o hash para ordenação de cadeias de caracteres agrupadas independente
• SPARK-54175 Adicionar tipos de Geografia e Geometria ao proto do Spark Connect
• SPARK-54961 Apresentar GroupingAnalyticsTransformer
• SPARK-55088 Manter os metadados em/from_arrow_type/esquema
• SPARK-55070 Permitir coluna oculta na resolução de coluna de dataframe
• SPARK-55044 Manter os metadados em toArrowSchema/fromArrowSchema
• SPARK-55043 Corrigir viagem no tempo com subconsulta contendo referências a tabelas
• SPARK-54987 Alterar o valor padrão de prefer_timestamp_ntz para True em from_arrow_type/from_arrow_schema
• SPARK-54866 Refatorar funções Drop/Refresh para evitar pesquisa no catálogo
• SPARK-55024 Utilizar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo de sessão
• SPARK-54992 Substituir a conversão por uma verificação de tempo de execução para make_timestamp
• SPARK-55024 Reverter "[SC-216987][SQL] Usar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo de sessão"
• SPARK-54866 Reverter "[SC-216753][SQL] Refatorar a função Drop/RefreshFunction para evitar consulta de catálogo"
• SPARK-55024 Utilizar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo de sessão
• SPARK-54866 Refatorar funções Drop/Refresh para evitar pesquisa no catálogo
• SPARK-54991 Corrigir dica de tipo para streaming/listener.py
• SPARK-54925 Adicionar a capacidade de despejar threads para o PySpark
• SPARK-54803 Suporte a BY NAME com INSERT ... REPLACE WHERE
• SPARK-54785 Adicionar suporte para agregações de esboçamento binário no KLL (nº 188370) (nº 188860)
• SPARK-54949 Mover pyproject.toml para a raiz do repositório
• SPARK-54954 Corrigir dicas de tipo relacionadas a remote em util.py
• SPARK-54922 Unificar como os args são passados para os trabalhadores do Python
• SPARK-54870 Suporte de ordenação para char/varchar e CTAS/RTAS
• SPARK-54762 Corrigir assinatura de sobrecarga _create_converter e covert
• SPARK-55019 Permitir DROP TABLE para remover visualização
• SPARK-53103 Gerar um erro se o diretório de estado não estiver vazio quando a consulta for iniciada
• SPARK-54995 Criar um caminho rápido para foreachPartition
• SPARK-54634 Adicionar mensagem de erro clara para predicado IN vazio
• SPARK-54984 Execução de repartição de estado e integração com o State Rewriter
• SPARK-54443 Integrar PartitionKeyExtractor no leitor de re-partição
• SPARK-54907 Introduzir a regra do analisador NameStreamingSources para a evolução da origem do streaming
• SPARK-54609 Atualizar a configuração do tipo TIME para corresponder à do OSS
• SPARK-54988 Simplificar a implementação de ObservationManager.tryComplete
• SPARK-54959 Desativar a nova tentativa completa em caso de incompatibilidade de checksum do shuffle quando o shuffle baseado em push estiver habilitado
• SPARK-54940 Adicionar testes para inferência de tipo pa.scalar
• SPARK-54634 Reverter "[SC-216478][SQL] Adicionar mensagem de erro clara para predicado IN vazio"
• SPARK-54337 Adicionar suporte para PyCapsule ao Pyspark
• SPARK-54634 Adicionar mensagem de erro clara para predicado IN vazio
• SPARK-53785 Fonte de memória para RTM
• SPARK-54883 Limpar mensagens de erro da CLI e adicionar novo modo de erro DEBUG
• SPARK-54713 Adicionar suporte a expressões de função de similaridade/distância de vetor
• SPARK-54962 Corrigir tratamento de inteiros anuláveis na UDF do Pandas
• SPARK-54864 Adicionar nós rCTE ao NormalizePlan
• SPARK-53847 Adicionar ContinuousMemorySink para teste de modo em tempo real
• SPARK-54865 Adicionar o método foreachWithSubqueriesAndPruning ao QueryPlan
• SPARK-54930 Remover a chamada redundante _accumulatorRegistry.clear() no arquivo worker.py
• SPARK-54929 Corrigir a redefinição de taskContext._resources em um loop que fazia com que apenas o último recurso fosse mantido
• SPARK-54963 Criar createDataFrame respeitar prefer_timestamp_ntz quando infer_pandas_dict_as_map
• SPARK-54920 Mover a lógica de extração de análise de agrupamento para um componente comum GroupingAnalyticsExtractor
• SPARK-54924 Reescritor de estado para ler o estado, transformá-lo e gravar novo estado
• SPARK-54872 Unificar o tratamento de valor padrão de coluna entre comandos v1 e v2
• SPARK-54905 Simplificar a implementação de foreachWithSubqueries no QueryPlan
• SPARK-54682 Suporte para mostrar parâmetros em DESCRIBE PROCEDURE
• SPARK-54933 Evite buscar repetidamente a configuração binary_as_bytes em toLocalIterator
• SPARK-54872 Reverter "[SC-216260][SQL] Unificar manipulação de valor padrão de coluna entre comandos v1 e v2"
• SPARK-51936 ReplaceTableAsSelect deve substituir a nova tabela em vez de acrescentar
• SPARK-54771 Remover a regra ResolveUserSpecifiedColumns de RuleIdCollection
• SPARK-54872 Unificar o tratamento de valor padrão de coluna entre comandos v1 e v2
• SPARK-54313 Adicionar a opção --extra-properties-file para camadas de configuração
• SPARK-54468 Adicionar classes de erro ausentes
• SPARK-46741 A tabela de cache com CTE deve funcionar quando a CTE estiver em uma subconsulta de expressão do plano
• SPARK-46741 A Tabela de Cache com CTE não funcionará
• SPARK-54615 Sempre passe runner_conf para o trabalhador Python
• SPARK-53737 Adicionar gatilho de modo em tempo real
• SPARK-54541 Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState
• SPARK-54718 Preservar nomes de atributos durante CTE newInstance()
• SPARK-54621 Mesclar em conjunto de atualizações * preservar campos aninhados se... coerceNestedTypes está habilitado
• SPARK-54595 manter o comportamento existente de MERGE INTO sem a cláusula SCHEMA EVOLUTION
• SPARK-54903 Permitir definir o fuso horário em to_arrow_schema/to_arrow_type
• SPARK-52326 Adicionar partições relacionadas a ExternalCatalogEvent e postá-las em operações correspondentes
• SPARK-54541 Reverter "[SC-215212][SQL] Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState"
• SPARK-54578 Executar limpeza de código em AssignmentUtils
• SPARK-54830 Habilitar por padrão a nova tentativa de embaralhamento indeterminado baseada em checksum
• SPARK-54525 Desabilitar a coerção de structs aninhados em MERGE INTO em uma configuração
• SPARK-53784 APIs de origem adicionais necessárias para dar suporte à execução do RTM
• SPARK-54496 Corrigir a evolução de esquema Merge Into para a API de DataFrame
• SPARK-54835 Evitar a criação de objetos QueryExecution temporários desnecessários para a execução de comandos aninhados
• SPARK-54541 Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState
• SPARK-54289 Permitir MERGE INTO preservar os campos de struct existentes para UPDATESET * quando o struct de origem tiver menos campos aninhados do que o struct de destino
• SPARK-54720 Adicionar SparkSession.emptyDataFrame com um esquema
• SPARK-54800 Implementação padrão alterada para isObjectNotFoundException
• SPARK-54686 Flexibilizar verificações de tabela DSv2 em exibições temporárias para permitir novas colunas de nível superior
• SPARK-54619 Adicionar uma verificação de coerência para números de configuração
• SPARK-54726 Melhorar um pouco de desempenho para InsertAdaptiveSparkPlan
• SPARK-51966 Substitua select.select() por select.poll() ao executar no sistema operacional POSIX
• SPARK-54749 Corrigir a métrica numOutputRows incorreta no OneRowRelationExec
• SPARK-54411 Introduzir o Repartition Writer que dá suporte a vários CF
• SPARK-54835 Reverter "[SC-215823][SQL] Evitar QueryExecution temporária desnecessária para a execução de comandos aninhados"
• SPARK-54867 Introduzir o wrapper NamedStreamingRelation para identificação do código-fonte durante a análise
• SPARK-54835 Evitar a criação de objetos QueryExecution temporários desnecessários para a execução de comandos aninhados
• SPARK-54491 Corrigir a inserção no modo temporário na falha da tabela DSv2
• SPARK-54871 Remover aliases de expressões de agrupamento e agregação antes de processar a análise de agrupamento
• SPARK-51920 Corrigir o tratamento de tipo de namedTuple para transfromWithState
• SPARK-54526 Renomear _LEGACY_ERROR_TEMP_1133 e adicionar sqlState
• SPARK-54424 As falhas durante o recaching não devem provocar falhas nas operações
• SPARK-54894 Corrigir a passagem de argumentos to_arrow_type
• SPARK-53448 A conversão de um DataFrame do pyspark com uma coluna do tipo Variant para pandas falha com um erro
• SPARK-54882 Remover a variável legada PYARROW_IGNORE_TIMEZONE
• SPARK-54504 Corrigir a atualização da versão para tabelas DSv2 com subconsultas
• SPARK-54444 Relaxar as verificações de tabelas DSv2 para restaurar o comportamento anterior
• SPARK-54859 Arrow por padrão: documentação de referência da API PySpark UDF
• SPARK-54387 Reverter "[ES-1688666] Reverter "[SC-212394][SQL] Corrigir o recarregamento de cache de tabelas DSv2""
• SPARK-54753 corrige o vazamento de memória de ArtifactManager
• SPARK-54387 Reverter "[SC-212394][SQL] Corrigir o recarregamento de cache de tabelas DSv2"
• SPARK-54436 Corrigir a formatação de erro para verificações de metadados de tabela incompatíveis
• SPARK-54849 Atualizar a versão mínima para pyarrow 18.0.0
• SPARK-54022 Tornar a resolução de tabelas do DSv2 ciente das tabelas em cache
• SPARK-54387 Corrigir o recacheamento das tabelas DSv2
• SPARK-53924 Recarregar tabelas DSv2 em visões criadas usando planos a cada acesso à visão
• SPARK-54561 Suporte a breakpoint() para run-tests.py
• SPARK-54157 Corrigir a atualização das tabelas DSv2 no conjunto de dados
• SPARK-54830 Reverter "[CORE] Habilitar por padrão a nova tentativa de embaralhamento indeterminado baseada em checksum"
• SPARK-54861 Redefinir o nome do thread de tarefa para IDLE_TASK_THREAD_NAME quando a tarefa for concluída
• SPARK-54834 Adicionar novas interfaces SimpleProcedure e SimpleFunction
• SPARK-54760 O DelegatingCatalogExtension, como catálogo de sessão, oferece suporte a funções V1 e V2
• SPARK-54685 Remover respostas redundantes de métricas observadas
• SPARK-54853 Sempre verificar hive.exec.max.dynamic.partitions no lado do Spark
• SPARK-54840 Pré-alocação da OrcList
• SPARK-54830 Habilitar por padrão a nova tentativa de embaralhamento indeterminado baseada em checksum
• SPARK-54850 Melhorar extractShuffleIds para localizar AdaptiveSparkPlanExec em qualquer lugar na árvore de planos
• SPARK-54843 A expressão try_to_number não funciona com uma cadeia de caracteres vazia como entrada
• SPARK-54556 Reverter estágios de mapa de shuffle bem-sucedidos quando for detectada uma incompatibilidade de checksum de shuffle
• SPARK-54760 Reverter "[SC-215670][SQL] DelegatingCatalogExtension como catálogo de sessão permite funções V1 e V2"
• SPARK-54760 O DelegatingCatalogExtension, como catálogo de sessão, oferece suporte a funções V1 e V2
• SPARK-54818 Falhas na alocação pelo TaskMemoryManager devem registrar a pilha de erros para ajudar a verificar o uso de memória
• SPARK-54827 Adicionar função auxiliar TreeNode.containsTag
• SPARK-54777 Reverter "[SC-215740][SQL] Alterado o tratamento de erro de dropTable em JDBCTableCatalog.dropTable(...)"
• SPARK-54777 Alterado o tratamento de erro de dropTable em JDBCTableCatalog.dropTable(...)
• SPARK-54817 Refatoração da lógica de resolução Unpivot para UnpivotTransformer
• SPARK-54820 Tornar pandas_on_spark_type compatível com o numpy 2.4.0
• SPARK-54799 Refatorar UnpivotCoercion
• SPARK-54754 O OrcSerializer não deve analisar o esquema toda vez que for serializado
• SPARK-54226 Estender a compactação de seta para a UDF do Pandas
• SPARK-54787 Usar compreensão de listas em vez de loops for no pandas
• SPARK-54690 Tornar Frame.__repr__ insensível à otimização de setas
• SPARK-46166 Implementação de pandas.DataFrame.any com axis=None
• SPARK-54696 Limpeza de buffers do Arrow – acompanhamento
• SPARK-54769 Remover código morto no conversion.py
• SPARK-54787 Usar compreensão de lista em _bool_column_labels do pandas
• SPARK-54794 Suprimir logs de varredura verbosos FsHistoryProvider.checkForLogs
• SPARK-54782 Corrigir as versões de configuração
• SPARK-54781 Retornar informações de cache de modelo no formato JSON
• SPARK-54419 O Leitor de Estado de Repartição Offline suporta famílias multicoluna
• SPARK-54722 Registrar UDF de agregação com iteração em grupos do Pandas para uso no SQL
• SPARK-54762 Reverter "[SC-215422][PYTHON] Corrigir assinatura e sobrecarga _create_converter e covert"
• SPARK-54652 Reverter "[SC-215452][SQL] Conversão completa de IDENTIFIER()"
• SPARK-54762 Corrigir assinatura de sobrecarga _create_converter e covert
• SPARK-52819 Tornando KryoSerializationCodec serializável para corrigir erros java.io.NotSerializableException em vários casos de uso
• SPARK-54711 Adicionar um tempo limite para a conexão de trabalho criada pelo daemon
• SPARK-54738 Adicionar suporte do profiler para UDFs de agregação em iteração de grupos do Pandas
• SPARK-54652 Conversão completa de IDENTIFIER()
• SPARK-54581 Tornando a opção fetchsize insensível a maiúsculas para o conector do Postgres
• SPARK-54589 Consolidar ArrowStreamAggPandasIterUDFSerializer em ArrowStreamAggPandasUDFSerializer
• SPARK-41916 Distribuidor Torch: suporte a vários processos de torchrun por tarefa caso task.gpu.amount > 1
• SPARK-54707 Refatorar a lógica principal de resolução PIVOT para o PivotTransformer
• SPARK-54706 Fazer o DistributedLDAModel funcionar com o sistema de arquivos local
• SPARK-53616 Introduzir API de iterador para UDFs de agregação em grupos do Pandas
• SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
• SPARK-54656 Refatorar o SupportsPushDownVariants para ser um mix-in do ScanBuilder
• SPARK-54687 Adicionar arquivo golden com casos de borda de resolução de geradores
• SPARK-54708 Otimizar a limpeza de cache de ML com criação lenta de diretório
• SPARK-54116 Reverter "[SC-213108][SQL] Adicionar suporte ao modo off-heap para LongHashedRelation"
• SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
• SPARK-54443 Extração de chave de partição para todos os operadores de streaming com estado
• SPARK-54687 Reverter "[SC-214791][SQL] Adicionar arquivo golden com casos de borda de resolução de geradores"
• SPARK-54116 Reverter "[SC-213108][SQL] Adicionar suporte ao modo off-heap para LongHashedRelation"
• SPARK-54687 Adicionar arquivo golden com casos de borda de resolução de geradores
• SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
• SPARK-54420 Introduzir reparticionamento offline StatePartitionWriter para a família de coluna única
• SPARK-54689 Tornar org.apache.spark.sql.pipelines o pacote interno e tornar EstimatorUtils privado
• SPARK-54673 Refatorar o código de análise de sintaxe do pipe SQL para compartilhamento e reutilização
• SPARK-54668 Adicionar testes para CTEs em operadores com múltiplos filhos
• SPARK-54669 Remover conversões de tipo redundantes em rCTEs
• SPARK-54587 Consolidar todo o código relacionado ao runner_conf
• SPARK-54628 Remover todos os argumentos super() explícitos desnecessários
• SPARK-54675 Programar tempo limite configurável para desligamento forçado do pool de threads de manutenção do StateStore
• SPARK-54639 Evitar a criação desnecessária de Tabelas em serializadores de Arrow
• SPARK-49635 Remover a sugestão de configuração ANSI nas mensagens de erro do CAST
• SPARK-54664 Limpar o código relacionado a listenerCache partir de connect.StreamingQueryManager
• SPARK-54640 Substituir select.select por select.poll no UNIX
• SPARK-54662 Adicionar viztracer e debugpy em dev/requirements.txt
• SPARK-54632 Adicionar a opção para usar o ruff para lint
• SPARK-54585 Corrigir o rollback do State Store quando a thread estiver em estado de interrupção
• SPARK-54172 Merge Into Schema Evolution deve adicionar apenas colunas referenciadas
• SPARK-54438 Consolidar ArrowStreamAggArrowIterUDFSerializer em ArrowStreamAggArrowUDFSerializer
• SPARK-54627 Remover inicializações redundantes em serializadores
• SPARK-54631 Adicionar suporte a profiler para UDF de agregação iterativa em grupos do Arrow
• SPARK-54316 Reaplicar [SC-213971][CORE][PYTHON][SQL] Consolidar GroupPandasIterUDFSerializer com GroupPandasUDFSerializer
• SPARK-54392 Otimizar a comunicação entre JVM e Python para o estado inicial do TWS
• SPARK-54617 Habilitar o registro de UDFs de agregação iterativa agrupada com Arrow para SQL
• SPARK-54544 Habilitar a verificação F811 do flake8
• SPARK-54650 Mover a conversão de int para decimal para dentro de _create_converter_from_pandas
• SPARK-54316 Reverter "[SC-213971][CORE][PYTHON][SQL] Consolidar GroupPandasIterUDFSerializer com GroupPandasUDFSerializer"
• SPARK-53687 Introduzir WATERMARK cláusula na instrução SQL
• SPARK-54316 Consolidar GroupPandasIterUDFSerializer com GroupPandasUDFSerializer
• SPARK-54598 Extrair lógica para ler UDFs
• SPARK-54622 Promover RequiresDistributionAndOrdering e suas interfaces necessárias para Evolving
• SPARK-54624 Garantir que o nome de usuário na página de histórico seja escapado
• SPARK-54580 Considere o Hive 4.1 em HiveVersionSuite e HiveClientImpl
• SPARK-54068 Correção to_feather para dar suporte ao PyArrow 22.0.0
• SPARK-54618 Promover LocalScan para Stable
• SPARK-54616 Marcar SupportsPushDownVariants como Experimental
• SPARK-54607 Remover método toStringHelper não utilizado de AbstractFetchShuffleBlocks.java
• SPARK-53615 Introduzir API de iterador para UDF de agregação agrupada do Arrow
• SPARK-54608 Evitar o duplo armazenamento em cache do conversor de tipos no UDTF
• SPARK-54600 Não usar pickle para salvar/carregar modelos em pyspark.ml.connect
• SPARK-54592 Tornar estimatedSize privado
• SPARK-54388 Introduzir o StatePartitionReader, que escaneia bytes brutos em busca de uma ColFamily única
• SPARK-54570 Propagar a classe de erro corretamente no Spark Connect
• SPARK-54577 Otimizar chamadas Py4J na inferência de esquema
• SPARK-54568 Evitar conversões desnecessárias do pandas ao criar um DataFrame a partir de um ndarray
• SPARK-54576 Adicionar documentação para novas funções de agregação baseadas em Datasketches
• SPARK-54574 Reativar FPGrowth na conexão
• SPARK-54557 Tornar CSV/JSON/XmlOptions e CSV/JSON/XmlInferSchema comparáveis
• SPARK-52798 Adicionar função approx_top_k_combine
• SPARK-54446 FPGrowth dá suporte ao sistema de arquivos local com formato de arquivo Arrow
• SPARK-54547 Renomear variável hostPort para host nos métodos TaskSchedulerImpl.(executorLost|logExecutorLoss)
• SPARK-54558 Corrigir exceção interna quando manipuladores de exceção sem BEGIN/END são usados
• SPARK-52923 Permitir que o ShuffleManager controle a fusão de push durante o registro do shuffle
• SPARK-54474 Descartar o relatório XML de testes que devem falhar
• SPARK-54473 Adicionar suporte de leitura e gravação do Avro para o tipo TIME
• SPARK-54472 Adicionar suporte de leitura e gravação do ORC para o tipo TIME
• SPARK-54463 Adicionar suporte de serialização e desserialização do CSV para o tipo TIME
• SPARK-52588 Approx_top_k: acumular e estimar
• SPARK-54461 Adicionar suporte de serialização e desserialização XML para o tipo TIME
• SPARK-54451 Adicionar suporte de serialização e desserialização JSON para o tipo TIME
• SPARK-54537 Corrigir SparkConnectDatabaseMetaData getSchemas/getTables em catálogos sem capacidade de namespace
• SPARK-54442 Adicionar funções de conversão numérica para o tipo TIME
• SPARK-54451 Reverter "[SC-212861][SQL] Adicionar suporte à serialização e desserialização JSON para o tipo TIME"
• SPARK-54492 Renomear _LEGACY_ERROR_TEMP_1201 e adicionar sqlState
• SPARK-54531 Introduzir ArrowStreamAggPandasUDFSerializer
• SPARK-54223 Adicionar contexto de tarefa e métricas de dados aos logs do executor Python
• SPARK-54272 Adicionar aggTime para SortAggregateExec
• SPARK-53469 Capacidade de limpar o shuffle no servidor Thrift
• SPARK-54219 Configuração de suporte spark.cleaner.referenceTracking.blocking.timeout
• SPARK-54475 Adicionar master-server, branch-4.0-client, Python 3.11
• SPARK-54451 Adicionar suporte de serialização e desserialização JSON para o tipo TIME
• SPARK-54285 Armazenar em cache informações de fuso horário para evitar conversão de timestamp cara
• SPARK-49133 Tornar o membro MemoryConsumer#used atômico para evitar que o código do usuário cause um deadlock
• SPARK-46166 Implementação de pandas.DataFrame.any com axis=1
• SPARK-54532 Adicionar suporte para sqlstate para PySparkException
• SPARK-54435 spark-pipelines init deve evitar sobrescrever o diretório existente
• SPARK-54247 Fechar explicitamente o socket para util._load_from_socket

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

Bibliotecas de Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-11-20.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)