Databricks Runtime 14.0 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.0, alimentado pelo Apache Spark 3.5.0.

O Databricks lançou essa versão em setembro de 2023.

Novos recursos e melhorias

• O rastreamento de linha está em disponibilidade geral
• A E/S preditiva para atualizações está em disponibilidade geral
• Os vetores de exclusão estão em disponibilidade geral
• Spark 3.5.0 está disponível
• Visualização pública para funções de tabela definidas pelo usuário em Python
• Versão prévia pública para simultaneidade no nível de linha
• O diretório de trabalho atual padrão foi alterado
• Problema conhecido com o sparklyr
• Apresentando o Spark Connect na arquitetura de cluster compartilhado
• Atualização da API para listar as versões disponíveis do Spark

O rastreamento de linha está em disponibilidade geral

O rastreamento de linha para Delta Lake agora está em disponibilidade geral. Veja Rastreamento de linhas no Azure Databricks.

A E/S preditiva para atualizações está em disponibilidade geral

A E/S preditiva para atualizações está agora em disponibilidade geral. Confira O que é E/S preditiva?.

Os vetores de exclusão estão em disponibilidade geral

Os vetores de exclusão estão agora em disponibilidade geral. Consulte vetores de exclusão no Databricks.

Spark 3.5.0 está em Disponibilidade Geral

Apache Spark 3.5.0 já está disponível para o público geral. Confira a Versão 3.5.0 do Spark.

Visualização pública para funções de tabela definidas pelo usuário para Python

As funções de tabela definidas pelo usuário (UDTFs) permitem registrar funções que retornam tabelas em vez de valores escalares. Consulte Python UDTFs (funções de tabela definidas pelo usuário).

Versão prévia pública para simultaneidade no nível de linha

A simultaneidade no nível de linha reduz conflitos entre operações de gravação simultâneas, detectando alterações no nível de linha e resolvendo automaticamente alterações concorrentes em gravações simultâneas que atualizam ou excluem linhas diferentes no mesmo arquivo de dados. Consulte simultaneidade em nível de linha.

O diretório de trabalho atual padrão foi alterado

O diretório de trabalho atual padrão (CWD) para código executado localmente agora é o diretório que contém o bloco de anotações ou script que está sendo executado. Isso inclui código como %sh e código Python ou R não usando o Spark. Consulte Qual é o diretório de trabalho padrão atual?.

Problema conhecido com o sparklyr

A versão instalada do pacote sparklyr (versão 1.8.1) não é compatível com o Databricks Runtime 14.0. Para usar sparklyr, instale a versão 1.8.3 ou superior.

Apresentando o Spark Connect na arquitetura de cluster compartilhado

Com o Databricks Runtime 14.0 e superiores, os clusters compartilhados agora usam o Spark Connect com o Driver Spark do REPL de Python por padrão. As APIs internas do Spark não estão mais acessíveis a partir do código do usuário.

O Spark Connect agora interage com o Spark Driver a partir do REPL, em vez da integração REPL herdada.

Atualização da API para listar as versões disponíveis do Spark

Habilite o Photon configurando runtime_engine = PHOTON, e habilite aarch64 escolhendo um tipo de instância de gráviton. Azure Databricks define a versão correta do Databricks Runtime. Anteriormente, a API de versão do Spark retornava runtimes específicos da implementação para cada versão. Consulte GET /api/2.0/clusters/spark-versions na Referência da API REST.

Alterações críticas

No Databricks Runtime 14.0 e superior, clusters com modo de acesso padrão (antigo modo de acesso compartilhado) usam o Spark Connect para comunicação cliente-servidor. Isso inclui as seguintes alterações.

Para obter mais informações sobre as limitações do modo de acesso padrão, consulte os requisitos e limitações de computação Padrão.

Python em clusters com modo de acesso padrão (antigo modo de acesso compartilhado)

• sqlContext não está disponível. Azure Databricks recomenda usar a variável spark para a instância SparkSession.
• O contexto do Spark (sc) não está mais disponível em Notebooks ou ao usar o Databricks Connect em um cluster com o modo de acesso padrão. As seguintes funções sc não estão mais disponíveis:
  • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
• O recurso Informações do Conjunto de Dados não tem mais suporte.
• Não existe mais uma dependência da JVM ao consultar o Apache Spark e, como consequência, as APIs internas relacionadas à JVM, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap e _jcols, não têm mais suporte.
• Ao acessar os valores da configuração usando spark.conf, apenas os valores da configuração dinâmica do runtime podem ser acessados.
• Os comandos de análise do Lakeflow Spark Declarative Pipelines ainda não têm suporte em clusters compartilhados.

Delta em clusters com modo de acesso padrão (antigo modo de acesso compartilhado)

• Em Python, não há mais uma dependência da JVM ao consultar o Apache Spark. As APIs internas relacionadas à JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilder e DeltaOptimizeBuilder._jbuilder, não têm mais suporte.

SQL em clusters com modo de acesso padrão (antigo modo de acesso compartilhado)

• Os comandos DBCACHE e DBUNCACHE não são mais suportados.
• Casos de uso raros como cache table db as show databases não são mais suportados.

Atualizações de biblioteca

• Bibliotecas de Python atualizadas:
  • asttokens de 2.2.1 para 2.0.5
  • attrs de 21.4.0 para 22.1.0
  • botocore de 1.27.28 para 1.27.96
  • certifi de 2022.9.14 para 2022.12.7
  • cryptografia de 37.0.1 para 39.0.1
  • debugpy de 1.6.0 para 1.6.7
  • docstring-to-markdown de 0.12 para 0.11
  • executando de 1.2.0 a 0.8.3
  • facets-overview de 1.0.3 para 1.1.1
  • googleapis-common-protos de 1.56.4 para 1.60.0
  • grpcio de 1.48.1 para 1.48.2
  • idna de 3.3 para 3.4
  • ipykernel de 6.17.1 para 6.25.0
  • ipython de 8.10.0 para 8.14.0
  • Jinja2 de 2.11.3 para 3.1.2
  • jsonschema de 4.16.0 para 4.17.3
  • jupyter_core de 4.11.2 para 5.2.0
  • kiwisolver de 1.4.2 para 1.4.4
  • MarkupSafe de 2.0.1 para 2.1.1
  • matplotlib de 3.5.2 para 3.7.0
  • nbconvert de 6.4.4 para 6.5.4
  • nbformat da versão 5.5.0 para a versão 5.7.0
  • nest-asyncio de 1.5.5 para 1.5.6
  • notebook de 6.4.12 para 6.5.2
  • numpy de 1.21.5 para 1.23.5
  • packaging de 21.3 para 22.0
  • pandas de 1.4.4 para 1.5.3
  • Atualização da versão pathspec de 0.9.0 para 0.10.3
  • patsy de 0.5.2 para 0.5.3
  • Pillow de 9.2.0 para 9.4.0
  • pip de 22.2.2 para 22.3.1
  • protobuf de 3.19.4 para 4.24.0
  • pytoolconfig de 1.2.2 para 1.2.5
  • pytz de 2022.1 para 2022.7
  • s3transfer de 0.6.0 para 0.6.1
  • seaborn de 0.11.2 para 0.12.2
  • setuptools de 63.4.1 para 65.6.3
  • soupsieve de 2.3.1 para 2.3.2.post1
  • stack-data de 0.6.2 para 0.2.0
  • statsmodels de 0.13.2 para 0.13.5
  • terminado de 0.13.1 para 0.17.1
  • traitlets de 5.1.1 para 5.7.1
  • typing_extensions de 4.3.0 para 4.4.0
  • urllib3 de 1.26.11 para 1.26.14
  • virtualenv de 20.16.3 para 20.16.7
  • wheel de 0.37.1 para 0.38.4
• Bibliotecas do R atualizadas:
  • arrow de 10.0.1 para 12.0.1
  • base de 4.2.2 para 4.3.1
  • blob de 1.2.3 para 1.2.4
  • broom de 1.0.3 para 1.0.5
  • bslib de 0.4.2 para 0.5.0
  • cachem de 1.0.6 para 1.0.8
  • caret de 6.0-93 para 6.0-94
  • chron de 2.3-59 para 2.3-61
  • classe de 7.3-21 até 7.3-22
  • cli de 3.6.0 para 3.6.1
  • clock de 0.6.1 para 0.7.0
  • commonmark de 1.8.1 para 1.9.0
  • compiler de 4.2.2 para 4.3.1
  • cpp11 de 0.4.3 para 0.4.4
  • curl de 5.0.0 para 5.0.1
  • data.table de 1.14.6 para 1.14.8
  • datasets da versão 4.2.2 para a versão 4.3.1
  • dbplyr de 2.3.0 para 2.3.3
  • digest de 0.6.31 para 0.6.33
  • downlit de 0.4.2 para 0.4.3
  • dplyr de 1.1.0 para 1.1.2
  • dtplyr de 1.2.2 para 1.3.1
  • avaliar de 0.20 até 0.21
  • fastmap de 1.1.0 para 1.1.1
  • fontawesome de 0.5.0 para 0.5.1
  • fs de 1.6.1 para 1.6.2
  • future de 1.31.0 para 1.33.0
  • future.apply de 1.10.0 para 1.11.0
  • gargle de 1.3.0 para 1.5.1
  • ggplot2 de 3.4.0 para 3.4.2
  • gh de 1.3.1 para 1.4.0
  • glmnet de 4.1-6 para 4.1-7
  • googledrive de 2.0.0 para 2.1.1
  • googlesheets4 de 1.0.1 para 1.1.1
  • gráficos de 4.2.2 a 4.3.1
  • grDevices de 4.2.2 para 4.3.1
  • grid de 4.2.2 para 4.3.1
  • gtable de 0.3.1 para 0.3.3
  • hardhat de 1.2.0 para 1.3.0
  • atualização do haven da versão 2.5.1 para a versão 2.5.3
  • hms de 1.1.2 para 1.1.3
  • Atualização da versão do htmltools de 0.5.4 para 0.5.5
  • htmlwidgets de 1.6.1 para 1.6.2
  • httpuv de 1.6.8 para 1.6.11
  • httr de 1.4.4 para 1.4.6
  • ipred de 0.9-13 para 0.9-14
  • jsonlite de 1.8.4 para 1.8.7
  • KernSmooth de 2.23-20 para 2.23-21
  • knitr de 1.42 para 1.43
  • later de 1.3.0 para 1.3.1
  • lattice de 0.20-45 para 0.21-8
  • lava de 1.7.1 para 1.7.2.1
  • lubridate de 1.9.1 para 1.9.2
  • markdown de 1.5 para 1.7
  • MASS de 7.3-58.2 para 7.3-60
  • Matriz de 1.5-1 até 1.5-4.1
  • métodos de 4.2.2 a 4.3.1
  • mgcv de 1.8-41 para 1.8-42
  • modelr de 0.1.10 para 0.1.11
  • nnet de 7.3-18 para 7.3-19
  • openssl de 2.0.5 para 2.0.6
  • parallel de 4.2.2 para 4.3.1
  • parallelly de 1.34.0 para 1.36.0
  • pillar de 1.8.1 para 1.9.0
  • pkgbuild de 1.4.0 para 1.4.2
  • pkgload de 1.3.2 para 1.3.2.1
  • pROC de 1.18.0 para 1.18.4
  • processx de 3.8.0 para 3.8.2
  • prodlim de 2019.11.13 para 2023.03.31
  • profvis de 0.3.7 para 0.3.8
  • ps de 1.7.2 para 1.7.5
  • Rcpp de 1.0.10 para 1.0.11
  • readr de 2.1.3 para 2.1.4
  • readxl de 1.4.2 para 1.4.3
  • Receitas da 1.0.4 à 1.0.6
  • rlang de 1.0.6 para 1.1.1
  • rmarkdown de 2.20 para 2.23
  • Rserve de 1.8-12 para 1.8-11
  • RSQLite de 2.2.20 para 2.3.1
  • rstudioapi de 0.14 para 0.15.0
  • Sass de 0.4.5 para 0.4.6
  • shiny de 1.7.4 para 1.7.4.1
  • sparklyr de 1.7.9 para 1.8.1
  • SparkR de 3.4.1 a 3.5.0
  • splines de 4.2.2 para 4.3.1
  • Estatísticas de 4.2.2 para 4.3.1
  • stats4 de 4.2.2 para 4.3.1
  • sobrevivência de 3,5-3 para 3,5-5
  • sys de 3.4.1 para 3.4.2
  • tcltk de 4.2.2 para 4.3.1
  • testthat de 3.1.6 para 3.1.10
  • tibble de 3.1.8 para 3.2.1
  • tidyverse de 1.3.2 para 2.0.0
  • tinytex de 0.44 para 0.45
  • ferramentas de 4.2.2 até 4.3.1
  • tzdb de 0.3.0 para 0.4.0
  • Atualizar usethis de 2.1.6 para 2.2.2
  • utils de 4.2.2 para 4.3.1
  • vctrs de 0.5.2 para 0.6.3
  • viridisLite de 0.4.1 para 0.4.2
  • vroom de 1.6.1 para 1.6.3
  • waldo de 0.4.0 para 0.5.1
  • xfun de 0.37 para 0.39
  • xml2 de 1.3.3 para 1.3.5
  • atualização de zip da versão 2.2.2 para a versão 2.3.0
• Bibliotecas de Java atualizadas:
  • com.fasterxml.jackson.core.jackson-annotations de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.core.jackson-core de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.core.jackson-databind de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 para 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 para 2.15.2
  • com.github.luben.zstd-jni de 1.5.2-5 para 1.5.5-4
  • com.google.code.gson.gson de 2.8.9 para 2.10.1
  • com.google.crypto.tink.tink de 1.7.0 para 1.9.0
  • commons-codec.commons-codec de 1.15 para 1.16.0
  • commons-io.commons-io de 2.11.0 para 2.13.0
  • io.airlift.aircompressor de 0.21 para 0.24
  • io.dropwizard.metrics.metrics-core de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-graphite da versão 4.2.10 para a versão 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 para 4.2.19
  • *io.dropwizard.metrics.metrics-jetty9* de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-jmx de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-json de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-jvm de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-servlets de 4.2.10 para 4.2.19
  • io.netty.netty-all de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-buffer de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-codec de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-codec-http de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-codec-http2 de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-codec-socks de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-common de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-handler de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-handler-proxy de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-resolver de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-transport de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-transport-classes-epoll de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-transport-native-epoll de 4.1.87.Final-linux-x86_64 para 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-x86_64 para 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.87.Final para 4.1.93.Final
  • org.apache.arrow.arrow-format de 11.0.0 para 12.0.1
  • org.apache.arrow.arrow-memory-core de 11.0.0 para 12.0.1
  • org.apache.arrow.arrow-memory-netty de 11.0.0 para 12.0.1
  • org.apache.arrow.arrow-vector de 11.0.0 para 12.0.1
  • org.apache.avro.avro de 1.11.1 para 1.11.2
  • org.apache.avro.avro-ipc de 1.11.1 para 1.11.2
  • org.apache.avro.avro-mapred de 1.11.1 para 1.11.2
  • org.apache.commons.commons-compress de 1.21 para 1.23.0
  • org.apache.hadoop.hadoop-client-runtime de 3.3.4 para 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 para 2.20.0
  • org.apache.logging.log4j.log4j-api de 2.19.0 para 2.20.0
  • org.apache.logging.log4j.log4j-core de 2.19.0 para 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 para 2.20.0
  • org.apache.orc.orc-core de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims de 1.8.4 para 1.9.0
  • org.apache.xbean.xbean-asm9-shaded de 4.22 para 4.23
  • org.checkerframework.checker-qual de 3.19.0 para 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet de 2.36 para 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2.36 para 2.40
  • org.glassfish.jersey.core.jersey-client de 2.36 para 2.40
  • org.glassfish.jersey.core.jersey-common de 2.36 para 2.40
  • org.glassfish.jersey.core.jersey-server de 2.36 para 2.40
  • org.glassfish.jersey.inject.jersey-hk2 de 2.36 para 2.40
  • org.javassist.javassist de 3.25.0-GA para 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client de 2.7.4 para 2.7.9
  • org.postgresql.postgresql de 42.3.8 para 42.6.0
  • org.roaringbitmap.RoaringBitmap de 0.9.39 para 0.9.45
  • org.roaringbitmap.shims de 0.9.39 para 0.9.45
  • org.rocksdb.rocksdbjni de 7.8.3 para 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 para 2.9.0
  • org.slf4j.jcl-over-slf4j de 2.0.6 para 2.0.7
  • org.slf4j.jul-to-slf4j de 2.0.6 para 2.0.7
  • Atualização do org.slf4j.slf4j-api da versão 2.0.6 para a versão 2.0.7
  • org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
  • org.yaml.snakeyaml de 1.33 para 2.0

Apache Spark

Databricks Runtime 14.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Corrigir funções aes_decrypt e ln no Connect
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][conectar] Corrigir namedtuples herdados para funcionar em createDataFrame
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] Cache CodeGenerator deve ser específico do carregador de classe
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Fazer consultas de streaming funcionarem com o gerenciamento de artefatos do Connect
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Fazer o ArrowDeserializer funcionar com classes geradas por REPL
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Corrigir a otimização de UDF em Python com Arrow no Spark Connect
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Suporte a funções protobuf do Python para Spark Connect
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Remover função uuid/random/chr do PySpark
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Corrigir valores de metadados para Artefatos
• [SPARK-44822] [DBRRM-464][python][SQL] Tornar Python UDTFs, por padrão, não determinísticos
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refatorar UDTF do Python do Arrow
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Adicionar metadados de cliente ausentes a chamadas
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: Erro de Atributo: objeto 'NoneType' não possui um atributo 'message'
• [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager para acompanhar todas as execuções
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Desabilitar a otimização de seta por padrão para Python UDTFs
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Executar ExecuteGrpcResponseSender na execução reanexável no novo thread para corrigir o controle de fluxo
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Tornar todos os iteradores CloseableIterators
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Repetir ExecutePlan se a solicitação inicial não atingir o servidor a partir do cliente Python.
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Repetir ExecutePlan caso a solicitação inicial não tenha chegado ao servidor
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Erros movidos para sq/api também devem usar AnalysisException
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Adicionar objeto Codificadores
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Acompanhamento no encerramento da consulta de streaming quando a sessão do cliente está com o tempo limite para o Spark Connect
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute em ExecutePlanResponseReattachableIterator após receber erro do servidor
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Catalyst do cliente Connect
• [SPARK-44664] [DBRRM-396][python][CONNECT] Libere a execução ao fechar o iterador em Python cliente
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Remover diretório baseado em sessão quando o cache de sessão isolado for removido
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Não deixar iteradores pendentes
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Cliente Python para reconectar à execução existente no Spark Connect
• [SPARK-44637] [SC-138571] Sincronizar acessos a ExecuteResponseObserver
• [SPARK-44538] [SC-138178][conectar][SQL] Restabelecer Row.jsonValue e amigos
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução recolocável no Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Atualizar protobuf de 3.19.5 para 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Aumentar o limite de recursão do marshaller de protobuf
• [SPARK-44591] [SC-138292][connect][SQL] Adicionar jobTags ao SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations deve reter metadados do Alias ao criar uma nova instância
• [SPARK-44542] [SC-138323][core] Carregar ansiosamente a classe SparkExitCode no manipulador de exceção
• [SPARK-44264] [SC-138143][python]E2E Testing for Deepspeed
• [SPARK-43997] [SC-138347][connect] Adicionar suporte para UDFs Java
• [SPARK-44507] [SQL][connect][14.x][14.0] Mover AnalysisException para sql/api
• [SPARK-44453] [SC-137013][python] Use difflib para exibir erros em assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Adicionar uma página da interface do usuário do Spark para Spark Connect
• [SPARK-44611] [SC-138415][connect] Não excluir scala-xml
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Mover inferência do codificador para sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Corrigir problema de carregamento de classe que...
• [SPARK-44590] [SC-138296][sql][CONNECT] Remover o limite de registros do lote do Arrow para SqlCommandResult
• [SPARK-43968] [SC-138115][python] Aprimorar mensagens de erro para Python UDTFs com número incorreto de saídas
• [SPARK-44432] [SC-138293][ss][CONNECT] Encerrar consultas de streaming quando uma sessão atingir o tempo limite no Spark Connect
• [SPARK-44584] [SC-138295][connect] Definir informações de client_type para AddArtifactsRequest e ArtifactStatusesRequest no Cliente Scala
• [SPARK-44552] [14.0][sc-138176][SQL] Remover definição private object ParseState de IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Habilitar resample com o Spark Connect
• [SPARK-44287] [SC-136223][sql] Use a API PartitionEvaluator em operadores SQL RowToColumnarExec & ColumnarToRowExec.
• [SPARK-39634] [SC-137566][sql] Permitir divisão de arquivos em combinação com a geração de índice de linha
• [SPARK-44533] [SC-138058][python] Adicionar suporte para acumuladores, transmissões e arquivos do Spark nas análises dos UDTFs do Python
• [SPARK-44479] [SC-138146][python] Corrigir ArrowStreamPandasUDFSerializer para aceitar DataFrame do Pandas sem coluna
• [SPARK-44425] [SC-138177][connect] Valide se sessionId fornecido pelo usuário é uma UUID
• [SPARK-44535] [SC-138038][connect][SQL] Mover a API de Streaming necessária para sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Criar uma classe Deepspeed de Aprendizagem Distribuída chamada DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Corrigir a incapacidade da ResolveInlineTables de lidar com a expressão RuntimeReplaceable
• [SPARK-44060] [SC-135693][sql] Geração de código para junção de hash embaralhada externa do lado do build
• [SPARK-44496] [SC-137682][sql][CONNECT] Mover interfaces necessárias pelo SCSC para sql/api
• [SPARK-44532] [SC-137893][connect][SQL] Mover ArrowUtils para sql/api
• [SPARK-44413] [SC-137019][python] Esclarecer o erro para o tipo de dados de argumento sem suporte em assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] Mover SparkBuildInfo para common/util
• [SPARK-36612] [SC-133071][sql] Suporte à união externa à esquerda para construir à esquerda ou à direita para construir à direita na junção de hash embaralhada
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils gerou parâmetros incorretos para jars
• [SPARK-44449] [SC-137818][connect] Upcasting para desserialização direta do Arrow
• [SPARK-44131] [SC-136346][sql] Adicionar call_function e preterir call_udf para a API Scala
• [SPARK-44541] [SQL] Remover função inútil hasRangeExprAgainstEventTimeCol de UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] MaxRows/maxRowsPerPartition do filtro será 0 se a condição for FalseLiteral
• [SPARK-44540] [SC-137873][ui] Remover arquivos de folha de estilos e javascript não utilizados do jsonFormatter
• [SPARK-44466] [SC-137856][sql] Excluir configurações começando com SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX de modifiedConfigs
• [SPARK-44477] [SC-137508][sql] Tratar TYPE_CHECK_FAILURE_WITH_HINT como uma subclasse de erro
• [SPARK-44509] [SC-137855][python][CONNECT] Adicionar API de cancelamento de trabalho definida no cliente do Spark Connect Python
• [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
• [SPARK-38476] [SC-136448][core] Usar classe de erro no org.apache.spark.storage
• [SPARK-44486] [SC-137817][python][CONNECT] Implementar o recurso PyArrow self_destruct para toPandas
• [SPARK-44361] [SC-137200][sql] Utilizar a API PartitionEvaluator no MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Atualizar dataTables para 1.13.5 e remover alguns arquivos png não acessados
• [SPARK-44503] [SC-137808][sql] Adicionar gramática SQL para PARTITION BY e cláusula ORDER BY após argumentos TABLE para chamadas TVF
• [SPARK-38477] [SC-136319][core] Utilize a classe de erros em org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][connect] Interrupção refinada do Spark Connect
• [SPARK-44380] [SC-137415][sql][PYTHON] Suporte para UDTF Python para analisar em Python
• [SPARK-43923] [SC-137020][connect] Postar eventos listenerBus duran...
• [SPARK-44303] [SC-136108][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] Correção da coluna HeapHistogram mostra inesperadamente com select-all-box
• [SPARK-44409] [SC-136975][sql] Manipular char/varchar em Dataset.to para manter-se consistente com outros elementos
• [SPARK-44334] [SC-136576][sql][UI] O status na resposta da API REST para uma DDL/DML com falha sem trabalhos deve ser FAILED em vez de COMPLETED
• [SPARK-42309] [SC-136703][sql] Introduza INCOMPATIBLE_DATA_TO_TABLE e subclasses.
• [SPARK-44367] [SC-137418][sql][interface do usuário] Mostrar mensagem de erro na interface do usuário para cada consulta com falha
• [SPARK-44474] [SC-137195][connect] Reativar "Teste de observação de resposta" em SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
• [SPARK-44310] [SC-136055][conectar] O log de inicialização do Connect Server deve exibir o nome do host e a porta
• [SPARK-44309] [SC-136193][ui] Mostrar tempo de adição/remoção de executores na guia Executores
• [SPARK-42898] [SC-137556][sql] Marque que conversões de cadeia de caracteres/data não precisam de ID de fuso horário
• [SPARK-44475] [SC-137422][sql][CONNECT] Realocar DataType e Analisador para sql/api
• [SPARK-44484] [SC-137562][ss]Adicionar batchDuration ao método json StreamingQueryProgress
• [SPARK-43966] [SC-137559][sql][PYTHON] Suporte a funções não determinísticas com valor de tabela
• [SPARK-44439] [SC-136973][connect][SS]Corrigido listListeners para enviar apenas IDs de volta ao cliente
• [SPARK-44341] [SC-137054][sql][PYTHON] Defina a lógica de computação por meio da API PartitionEvaluator e use-a em WindowExec e WindowInPandasExec
• [SPARK-43839] [SC-132680][sql] Converter _LEGACY_ERROR_TEMP_1337 em UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Adicionar suporte para o Ouvinte de Streaming no Scala para Spark Connect
• [SPARK-44260] [SC-135618][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[1215-1245-2329] &Usar checkError() para verificar Exceção no _CharVarchar_Suite
• [SPARK-42454] [SC-136913][sql] SPJ: encapsular todos os parâmetros relacionados ao SPJ no BatchScanExec
• [SPARK-44292] [SC-135844][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][connect] Desserialização direta do Arrow
• [SPARK-44324] [SC-137172][sql][CONNECT] Mover CaseInsensitiveMap para sql/api
• [SPARK-44395] [SC-136744][sql] Adicionar teste de volta ao StreamingTableSuite
• [SPARK-44481] [SC-137401][connect][PYTHON] Transformar pyspark.sql.is_remote em uma API
• [SPARK-44278] [SC-137400][conectar] Implementar um interceptador de servidor GRPC que limpa as propriedades locais do thread
• [SPARK-44264] [SC-137211][ml][PYTHON] Suporte ao treinamento distribuído de funções usando deepspeed
• [SPARK-44430] [SC-136970][sql] Adicionar causa a AnalysisException quando a opção for inválida
• [SPARK-44264] [SC-137167][ml][PYTHON] Incorporar FunctionPickler em TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Tornar pública a API assertSchemaEqual
• [SPARK-44398] [SC-136720][connect] API foreachBatch do Scala
• [SPARK-43203] [SC-134528][sql] Mover todos os casos de exclusão de tabelas para o DataSource V2
• [SPARK-43755] [SC-137171][connect][MINOR] Abrir AdaptiveSparkPlanHelper.allChildren em vez de usar a cópia em MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Refatorar TorchDistributor para permitir o ponteiro de função "run_training_on_file" personalizado
• [SPARK-43755] [SC-136838][connect] Mover a execução para fora do SparkExecutePlanStreamHandler e para um thread diferente
• [SPARK-44411] [SC-137198][sql] Use a API do PartitionEvaluator em ArrowEvalPythonExec e BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Utilizar a API PartitionEvaluator no DebugExec
• [SPARK-43967] [SC-137057][python] Suporte para UDTFs regulares em Python com valores de retorno vazios
• [SPARK-43915] [SC-134766][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Suporte ao Python UDTF no Spark Connect
• [SPARK-44154] [SC-137050][sql] Adicionou mais testes de unidade ao BitmapExpressionUtilsSuite e fez pequenas melhorias nas expressões de agregação bitmap
• [SPARK-44169] [SC-135497][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Suporte UDTFs Python otimizados para o Arrow
• [SPARK-44321] [SC-136308][connect] Desacoplar ParseException de AnalysisException
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Reativar test_artifact com alterações relevantes
• [SPARK-44145] [SC-136698][sql] Retorno de chamada quando estiver pronto para execução
• [SPARK-43983] [SC-136404][python][ML][connect] Habilitar teste do estimador de validação cruzada
• [SPARK-44399] [SC-136669][python][CONNECT] Importar SparkSession em Python UDF somente quando useArrow é None
• [SPARK-43631] [SC-135300][connect][PS] Habilitar Series.interpolate com Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Adicionar código de exemplo para ML distribuído para spark connect
• [SPARK-44282] [SC-135948][connect] Preparar a análise de DataType para uso no cliente do Spark Connect Scala
• [SPARK-44052] [SC-134469][connect][PS] Adicionar util para obter a classe Column ou DataFrame adequada para o Spark Connect.
• [SPARK-43983] [SC-136404][python][ML][connect] Implementar o avaliador do validador cruzado
• [SPARK-44290] [SC-136300][connect] Arquivos e arquivos baseados em sessão no Spark Connect
• [SPARK-43710] [SC-134860][ps][CONNECT] Suporte functions.date_part para Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Limpar & consolidar tíquetes para simplificar as tarefas.
• [SPARK-44150] [SC-135790][python][CONNECT] Conversão explícita do Arrow para tipo de retorno incompatível no UDF Python do Arrow
• [SPARK-43903] [SC-134754][python][CONNECT] Aprimorar o suporte de entrada do tipo Array em UDF Python do Arrow
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementar avaliador de classificação
• [SPARK-44255] [SC-135704][sql] Realocar StorageLevel para common/utils
• [SPARK-42169] [SC-135735] [SQL] Implementar a geração de código para to_csv função (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refatorar PythonUDTFRunner para enviar seu tipo de retorno separadamente
• [SPARK-43353] [SC-132734][python] Migrar erros de sessão restantes para a classe de erro
• [SPARK-44133] [SC-134795][python] Atualizar MyPy de 0,920 para 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde no formato JSON
• [SPARK-43353] Revert “[SC-132734][es-729763][PYTHON] Migrar erros de sessão restantes para a classe de erro"
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Mover namespace de pyspark.mlv2 para pyspark.ml.connect
• [SPARK-44220] [SC-135484][sql] Mover StringConcat para sql/api
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listFunctions
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementar o avaliador de pipeline para ML no Spark Connect
• [SPARK-43888] [SC-132893][core] Realocar registro de logs para common/utils
• [SPARK-42941] Revert “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Evento Serde no formato JSON"
• [SPARK-43624] [SC-134557][ps][CONNECT] Adicionar EWM ao SparkConnectPlanner.
• [SPARK-43981] [SC-134137][python][ML] Implementação básica de salvamento/carregamento para ML no Spark Connect
• [SPARK-43205] [SC-133371][sql] corrigir SQLQueryTestSuite
• [SPARK-43376] Reverter "[SC-130433][sql] Melhorar a subconsulta de reutilização com cache de tabela"
• [SPARK-44040] [SC-134366][sql] Corrigir estatísticas de computação quando o nó AggregateExec está acima de QueryStageExec
• [SPARK-43919] [SC-133374][sql] Extrair funcionalidade JSON fora da linha
• [SPARK-42618] [SC-134433][python][PS] Aviso sobre as alterações de comportamento relacionadas ao pandas na próxima versão principal
• [SPARK-43893] [SC-133381][python][CONNECT] Suporte a tipos de dados não atômicos no UDF de Python otimizado para Arrow
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Habilitar pyspark.pandas.spark.functions.{kurt, skew} no Spark Connect.
• [SPARK-43798] [SC-133990][sql][PYTHON] Suporte Python funções de tabela definidas pelo usuário
• [SPARK-43616] [SC-133849][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.mode no Spark Connect.
• [SPARK-43133] [SC-133728] Suporte ao Cliente Scala DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correção (NullOps|NumOps).(eq|ne) para Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Habilitar pyspark.pandas.spark.functions.{var, stddev} no Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.product no Spark Connect.
• [SPARK-43610] [SC-133832][connect][PS] Habilitar InternalFrame.attach_distributed_column no Spark Connect.
• [SPARK-43621] [SC-133852][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.repeat no Spark Connect.
• [SPARK-43921] [SC-133461][protobuf] Gerar arquivos de descritor protobuf durante a construção
• [SPARK-43613] [SC-133727][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.covar no Spark Connect.
• [SPARK-43376] [SC-130433][sql] Melhorar a subconsulta de reutilização com cache de tabela
• [SPARK-43612] [SC-132011][connect][PYTHON] Implementar SparkSession.addArtifact(s) em Python cliente
• [SPARK-43920] [SC-133611][sql][CONNECT] Criar módulo sql/api
• [SPARK-43097] [SC-133372][ml] Novo avaliador de regressão logística do Pyspark ML implementado na parte superior do distribuidor
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Tornar o MLv2 (ML no spark connect) compatível com pandas >= 2.0
• [SPARK-43024] [SC-132716][python] Atualizar pandas para 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listDatabases
• [SPARK-39281] [SC-131422][sql] Acelerar a inferência do tipo Carimbo de Data/Hora com formato herdado na fonte de dados JSON/CSV
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] API DataStreamWriter foreach() do cliente Python
• [SPARK-43545] [SC-132378][sql][PYTHON] Suporte para tipo de carimbo de data/hora aninhado
• [SPARK-43353] [SC-132734][python] Migrar erros de sessão restantes para a classe de erro
• [SPARK-43304] [SC-129969][connect][PYTHON] Migrar NotImplementedError para PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Interfaces base do sparkML para spark3.5: avaliador/transformador/modelo/avaliador
• [SPARK-43128] Reverter “[SC-131628][connect][SS] Tornar recentProgress e retorno lastProgress consistente com StreamingQueryProgress com a API Scala nativa"
• [SPARK-43543] [SC-131839][python] Corrigir comportamento de MapType aninhado no UDF do Pandas
• [SPARK-38469] [SC-131425][core] Use a classe de erro em org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Estender INTERNAL_ERROR com categorias e adicionar classe de erro INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Mover estrutura de erro para um módulo de utilitários comum
• [SPARK-43440] [SC-131229][python][CONNECT] Suporte para registro de UDF de Python otimizado para Arrow
• [SPARK-43528] [SC-131531][sql][PYTHON] Suportar nomes de campo duplicados em createDataFrame com DataFrame do Pandas
• [SPARK-43412] [SC-130990][python][CONNECT] Introduzir SQL_ARROW_BATCHED_UDF EvalType para UDFs de Python com otimização com Arrow
• [SPARK-40912] [SC-130986][core]Sobrecarga de exceções em KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Acelerar a inferência do tipo Timestamp com o formato fornecido pelo usuário na fonte de dados JSON/CSV
• [SPARK-43473] [SC-131372][python] Suporte ao tipo de struct em createDataFrame do DataFrame do Pandas
• [SPARK-43443] [SC-131024][sql] Adicionar benchmark para inferência de tipo Timestamp ao usar valor inválido
• [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação de operações que envolvem vários quadros de dados
• [SPARK-43296] [SC-130627][connect][PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
• [SPARK-43324] [SC-130455][sql] Manipular comandos UPDATE para fontes baseadas em delta
• [SPARK-43347] [SC-130148][python] Remover suporte a Python 3.7
• [SPARK-43292] [SC-130525][core][CONNECT] Mover ExecutorClassLoader para o módulo core e simplificar Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Adicionar carregador de dados do distribuidor de tocha que carrega dados de dados de partição do Spark
• [SPARK-43331] [SC-130061][connect] Adicionar Spark Connect SparkSession.interruptAll
• [SPARK-43306] [SC-130320][python] Migrar ValueError de tipos SQL do Spark para a classe de erro
• [SPARK-43261] [SC-129674][python] Migrar TypeError de tipos SQL do Spark para a classe de erro.
• [SPARK-42992] [SC-129465][python] Introdução de PySparkRuntimeError
• [SPARK-16484] [SC-129975][sql] Adicionar suporte para Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Mover canWrite para DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] UDFs de Python otimizados pelo Arrow no Spark Connect
• [SPARK-43084] [SC-128654] [SS] Adicionar suporte a applyInPandasWithState para o Spark Connect
• [SPARK-42657] [SC-128621][connect] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
• [SPARK-43098] [SC-77059][sql] Corrigir bug COUNT de correção quando a subconsulta escalar tem grupo por cláusula
• [SPARK-42884] [SC-126662][connect] Adicionar integração com o Ammonite REPL
• [SPARK-42994] [SC-128333][ml][CONNECT] O Distribuidor PyTorch dá suporte ao Modo Local
• [SPARK-41498] [SC-125343]Reverter "Propagar metadados por meio de União"
• [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o Distribuidor PyTorch compatível com o Spark Connect
• [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
• [SPARK-42874] [SC-126442][sql] Habilitar a nova estrutura de teste de arquivo dourado para análise para todos os arquivos de entrada
• [SPARK-42779] [SC-126042][sql] Permitir gravações V2 para indicar o tamanho da partição de embaralhamento de consultoria
• [SPARK-42891] [SC-126458][connect][PYTHON] Implementar a API de Mapa Coagrupado
• [SPARK-42791] [SC-126134][sql] Criar uma nova estrutura de teste de arquivo ouro para análise
• [SPARK-42615] [SC-124237][connect][PYTHON] Refatorar o RPC do AnalyzePlan e adicionar session.version
• [SPARK-41302] Reverter “[ALL TESTS][sc-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
• [SPARK-40770] Reverter “[ALL TESTS][sc-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema"
• [SPARK-42398] [SC-123500][sql] Refinar a interface DS v2 do valor padrão da coluna
• [SPARK-40770] [ALL TESTS][sc-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
• [SPARK-40770] Reverter “[SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema"
• [SPARK-40770] [SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
• [SPARK-42038] [ALL TESTS] Reverter "Reverter “[SC-122533][sql] SPJ: Suporte à distribuição parcialmente clusterizada””
• [SPARK-42038] Reverter "[SC-122533][sql] SPJ: suporte à distribuição parcialmente clusterizada"
• [SPARK-42038] [SC-122533][sql] SPJ: suporte à distribuição parcialmente clusterizado
• [SPARK-40550] [SC-120989][sql] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta
• [SPARK-40770] Reverter “[SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema"
• [SPARK-40770] [SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
• [SPARK-41302] Reverter "[SC-122423][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
• [SPARK-40550] Reverter "[SC-120989][sql] DataSource V2: manipular comandos DELETE para fontes baseadas em delta"
• [SPARK-42123] Reverter "[SC-121453][sql] Incluir valores padrão de coluna em DESCRIBE e saída SHOW CREATE TABLE"
• [SPARK-42146] [SC-121172][core] Refatorar Utils#setStringField para fazer o build do maven passar quando o módulo sql usar esse método
• [SPARK-42119] Reverter “[SC-121342][sql] Adicionar funções incorporadas com valor de tabela inline e inline_outer”

Destaques

• Correção das funções aes_decrypt e ln no Connect SPARK-45109
• Correção para que as tuplas nomeadas herdadas funcionem em createDataFrame SPARK-44980
• O CodeGenerator Cache agora é específico do carregador de classes [SPARK-44795]
• Adição de SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• Fazer com que as Consultas de Streaming funcionem com o gerenciamento de artefatos do Connect [SPARK-44794]
• O ArrowDeserializer funciona com classes geradas por REPL [SPARK-44791]
• Correção da UDF do Python com otimização de Arrow no Spark Connect [SPARK-44876]
• Suporte ao cliente do Scala and Go no Spark Connect SPARK-42554SPARK-43351
• Suporte de ML distribuído baseado em PyTorch para o Spark Connect SPARK-42471
• Suporte de streaming estruturado para Spark Connect em Python e Scala SPARK-42938
• Suporte à API do Pandas para o cliente Python Spark Connect SPARK-42497
• Introduzir UDFs de Python do Apache Arrow SPARK-40307
• Suporte Python funções de tabela definidas pelo usuário SPARK-43798
• Migrar erros do PySpark para classes de erro SPARK-42986
• Framework de teste PySpark SPARK-44042
• Adicionar suporte para o Datasketches HllSketch SPARK-16484
• Melhoria da função SQL interna SPARK-41231
• IDENTIFIER cláusula SPARK-43205
• Adicione funções SQL ao Scala, Python e à API R SPARK-43907
• Adicionar suporte a argumentos nomeados para funções SQL SPARK-43922
• Evitar a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios migrarem SPARK-41469
• ML Distribuído <> no spark connect SPARK-42471
• Distribuidor DeepSpeed SPARK-44264
• Implementar ponto de verificação de changelog para armazenamento de estado do RocksDB SPARK-43421
• Introduzir propagação de marca d'água entre os operadores SPARK-42376
• Introduzir dropDuplicatesWithinWatermark SPARK-42931
• Aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado do RocksDB SPARK-43311

Spark Connect

• Refatoração do módulo sql em sql e sql-api para produzir um conjunto mínimo de dependências que podem ser compartilhadas entre o cliente do Scala Spark Connect e do Spark e evita extrair todas as dependências transitivas do Spark. SPARK-44273
• Apresentando o cliente do Scala para o Spark Connect SPARK-42554
• Suporte à API do Pandas para o cliente Python Spark Connect SPARK-42497
• Suporte de ML distribuído baseado em PyTorch para o Spark Connect SPARK-42471
• Suporte de streaming estruturado para Spark Connect em Python e Scala SPARK-42938
• Versão inicial do cliente Go SPARK-43351
• Muitos aprimoramentos de compatibilidade entre os clientes nativos do Spark e do Spark Connect em Python e Scala
• Melhor capacidade de depuração e manipulação de solicitações para aplicativos clientes (processamento assíncrono, novas tentativas, consultas de longa duração)

Spark SQL

Características

• Adicionar coluna de metadados para início e comprimento de bloco de arquivo SPARK-42423
• Dar suporte a parâmetros posicionais em Scala/Java sql() SPARK-44066
• Adicionar suporte a parâmetros nomeados no analisador para chamadas de função SPARK-43922
• Suporte SELECT DEFAULT com ORDER BY, LIMITOFFSET para a relação de origem INSERTSPARK-43071
• Adicionar gramática SQL para PARTITION BY e cláusula ORDER BY após argumentos TABLE para chamadas de TVF SPARK-44503
• Incluir valores padrão de coluna em DESCRIBE e saída SHOW CREATE TABLESPARK-42123
• Adicionar padrão opcional para Catalog.listCatalogs SPARK-43792
• Adicionar padrão opcional para Catalog.listDatabases SPARK-43881
• Retorno de chamada quando estiver pronto para execução SPARK-44145
• Suporte para a declaração Insert By Name SPARK-42750
• Adicionar call_function para a API do Scala SPARK-44131
• Aliases de colunas derivadas estáveis SPARK-40822
• Suporte a expressões constantes gerais como valores CREATE/REPLACE TABLE OPTIONS SPARK-43529
• Suporte a subconsultas com correlação por meio de INTERSECT/EXCEPT SPARK-36124
• IDENTIFIER cláusula SPARK-43205
• MODO ANSI: O conv deve retornar um erro se a conversão interna estourar SPARK-42427

Functions

• Adicionar suporte para o Datasketches HllSketch SPARK-16484
• Apoiar o modo CBC por meio de aes_encrypt()/aes_decrypt() SPARK-43038
• Suporte a regra do analisador de argumentos TABLE para TableValuedFunction SPARK-44200
• Implementar funções de bitmap SPARK-44154
• Adicionar a função try_aes_decrypt() SPARK-42701
• array_insert deve falhar com o índice 0 SPARK-43011
• Adicionar alias to_varchar para to_char SPARK-43815
• Função de alta ordem: implementação array_compact SPARK-41235
• Adicionar suporte ao analisador de argumentos nomeados para funções internas SPARK-44059
• Adicionar NULLs para INSERTs com listas especificadas pelo usuário com menos colunas que a tabela de destino SPARK-42521
• Adiciona suporte para aes_encrypt IVs e AAD SPARK-43290
• A função DECODE retorna resultados incorretos quando passada NULL SPARK-41668
• Suporte a udf 'luhn_check' SPARK-42191
• Suporte à resolução implícita de alias de coluna lateral na Agregação SPARK-41631
• Suporte para alias de coluna lateral implícita em consultas no Window SPARK-42217
• Adicionar aliases de funções de 3 argumentos DATE_ADD e DATE_DIFF SPARK-43492

Fontes de dados

• Suporte para Char/Varchar no Catálogo JDBC SPARK-42904
• Suporte para obter palavras-chave do SQL dinamicamente por meio da API JDBC e de TVF SPARK-43119
• DataSource V2: manipular comandos MERGE para fontes baseadas em delta SPARK-43885
• DataSource V2: manipular comandos MERGE para fontes baseadas em grupo SPARK-43963
• DataSource V2: lidar com comandos UPDATE para fontes baseadas em grupos SPARK-43975
• DataSource V2: permite representar atualizações como exclusões e inserções SPARK-43775
• Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela SPARK-41516
• SPJ: suporte à distribuição parcialmente clusterizado SPARK-42038
• O DSv2 permite que o CTAS/RTAS reserve a nulidade do esquema SPARK-43390
• Adicionar spark.sql.files.maxPartitionNum SPARK-44021
• Manipular comandos UPDATE para fontes baseadas em delta SPARK-43324
• Permitir que gravações V2 indiquem o tamanho da partição de embaralhamento de consultoria SPARK-42779
• Suporte do codec de compactação lz4raw para Parquet SPARK-43273
• Avro: escrevendo uniões complexas SPARK-25050
• Acelerar a inferência do tipo Timestamp com o formato fornecido pelo usuário na fonte de dados JSON/CSV SPARK-39280
• Avro para suporte tipo decimal personalizado suportado por Long SPARK-43901
• Evitar aleatório na junção com partição de armazenamento quando as chaves de partição não forem compatíveis, mas as expressões de junção forem compatíveis SPARK-41413
• Alterar binário para tipo de dado não suportado no formato CSV SPARK-42237
• Permitir que o Avro converta o tipo de união em SQL com o nome do campo estável com o tipo SPARK-43333
• Acelerar a inferência de tipos de carimbo de data/hora com o formato herdado na fonte de dados JSON/CSV SPARK-39281

Otimização de consultas

• A eliminação de subexpressão dá suporte à expressão de atalho SPARK-42815
• Melhorar a estimativa de estatísticas de junção se um lado puder manter a exclusividade SPARK-39851
• Introduzir o limite de grupo da janela para o filtro baseado em classificação para otimizar a computação top-k SPARK-37099
• Corrigir o comportamento de IN nulo (lista vazia) nas regras de otimização SPARK-44431
• Inferir e reduzir o limite da janela pela janela se partitionSpec estiver vazio SPARK-41171
• Remover a junção externa se todas elas forem funções de agregação distintas SPARK-42583
• Recolher duas janelas adjacentes com a mesma partição/ordem na subconsulta SPARK-42525
• Reduzir o limite por meio de UDFs do Python SPARK-42115
• Otimizar a ordem dos predicados de filtragem SPARK-40045

Geração de Código e Execução de Consulta

• O filtro de runtime deve dar suporte ao lado de junção aleatória de vários níveis como o lado de criação de filtro SPARK-41674
• Suporte do Codegen para HiveSimpleUDF SPARK-42052
• Suporte a Codegen para HiveGenericUDF SPARK-42051
• Suporte do Codegen para a junção hash aleatória externa do lado da compilação SPARK-44060
• Implementar geração de código para função to_csv (StructsToCsv) SPARK-42169
• Fazer com que AQE suporte InMemoryTableScanExec SPARK-42101
• Suporte à compilação esquerda da junção externa esquerda ou compilação diretita da junção externa direita na junção hash aleatória SPARK-36612
• Respeitar RequiresDistributionAndOrdering em CTAS/RTAS SPARK-43088
• Unir buckets em junção aplicados no lado do fluxo de junção de transmissão SPARK-43107
• Definir anulável corretamente na chave de junção unida na junção USING externa completa SPARK-44251
• Corrigir nulidade ListQuery da subconsulta IN SPARK-43413

Outras alterações importantes

• Definir anulável corretamente para chaves em junções USING SPARK-43718
• Correção de bug "COUNT(*) is null" na subconsulta escalar correlacionada SPARK-43156
• Junção externa Dataframe.joinWith deve retornar um valor nulo para linha sem correspondência SPARK-37829
• Renomear automaticamente colunas de metadados conflitantes SPARK-42683
• Documente as classes de erro do Spark SQL na documentação voltada para o usuário SPARK-42706

PySpark

Características

• Suporte a parâmetros posicionais em Python sql() SPARK-44140
• Suporte a SQL parametrizado por sql() SPARK-41666
• Suporte Python funções de tabela definidas pelo usuário SPARK-43797
• Suporte para definir executável Python para APIs de função UDF e pandas em trabalhos durante o runtime SPARK-43574
• Adicionar DataFrame.offset ao PySpark SPARK-43213
• Implementar dir() em pyspark.sql.dataframe.DataFrame para incluir colunas SPARK-43270
• Adicionar opção para usar vetores de largura variável grandes para operações de seta UDF SPARK-39979
• Tornar o mapInPandas/mapInArrow compatível com a execução no modo de barreira SPARK-42896
• Adicionar APIs JobTag ao PySpark SparkContext SPARK-44194
• Suporte ao UDTF do Python para análise em Python SPARK-44380
• Expor TimestampNTZType em pyspark.sql.types SPARK-43759
• Suporte ao tipo de carimbo de data/hora aninhado SPARK-43545
• Suporte a UserDefinedType em createDataFrame de DataFrame e toPandas do Pandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Adicionar a opção binária de descritor à API do Pyspark Protobuf SPARK-43799
• Aceitar tupla genérica como dicas de digitação do UDF Pandas SPARK-43886
• Adicionar função array_prepend SPARK-41233
• Adicionar a função util assertDataFrameEqual SPARK-44061
• Suporte a UDTFs Python com otimização de seta SPARK-43964
• Permitir precisão personalizada para igualdade de aproximação fp SPARK-44217
• Tornar a API assertSchemaEqual pública SPARK-44216
• Suporte fill_value para ps.Series SPARK-42094
• Suporte ao tipo de struct em createDataFrame do pandas DataFrame SPARK-43473

Outras alterações importantes

• Adicionar suporte de preenchimento automático para df[|] em pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Preterir & remover as APIs que serão removidas no pandas 2.0 [SPARK-42593]
• Tornar o Python a primeira guia para exemplos de código - Guia para Spark SQL, DataFrames e Conjuntos de dados SPARK-42493
• Atualizando exemplos de código de documentação do Spark restantes para mostrar Python por padrão SPARK-42642
• Usar nomes de campo deduplicados ao criar Arrow RecordBatch [SPARK-41971]
• Suporte a nomes de campo duplicados em createDataFrame usando pandas DataFrame [SPARK-43528]
• Permitir parâmetro de colunas ao criar DataFrame com Series [SPARK-42194]

Core

• Agendar mergeFinalize quando a mesclagem por push shuffleMapStage tentar novamente, mas nenhuma tarefa em execução SPARK-40082
• Introduzir PartitionEvaluator para execução do operador SQL SPARK-43061
• Permitir que ShuffleDriverComponent declare se os dados aleatórios são armazenados de forma confiável SPARK-42689
• Adicionar limitação máxima de tentativas para estágios para evitar possíveis repetições infinitas SPARK-42577
• Suporte à configuração de nível de log com conf estática do Spark SPARK-43782
• Otimizar PercentileHeap SPARK-42528
• Adicionar argumento de motivo a TaskScheduler.cancelTasks SPARK-42602
• Evitar a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios migrarem SPARK-41469
• Corrigindo a subconta do acumulador no caso da tarefa de repetição com o cache rdd SPARK-41497
• Utilize RocksDB para spark.history.store.hybridStore.diskBackend como padrão SPARK-42277
• Wrapper NonFateSharingCache para Guava Cache SPARK-43300
• Melhorar o desempenho de MapOutputTracker.updateMapOutput SPARK-43043
• Permitir que os aplicativos controlem se seus metadados sejam salvos no banco de dados pelo External Shuffle Service SPARK-43179
• Adicionar a variável de ambiente SPARK_DRIVER_POD_IP aos pods do executor SPARK-42769
• Monta o mapa de configurações do hadoop no pod do executor SPARK-43504

Streaming estruturado

• Adicionar suporte para rastrear o uso de memória de blocos fixados para o repositório de estado RocksDB SPARK-43120
• Adicionar aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado do RocksDB SPARK-43311
• Introduzir dropDuplicatesWithinWatermark SPARK-42931
• Introduzir um novo retorno de chamada onQueryIdle() ao StreamingQueryListener SPARK-43183
• Adicionar opção para ignorar o coordenador de commit como parte da API StreamingWrite para fontes/coletores DSv2 SPARK-42968
• Introduzir um novo retorno de chamada “onQueryIdle” ao StreamingQueryListener SPARK-43183
• Implementar o checkpoint baseado em Changelog para o provedor de repositório de estado RocksDB SPARK-43421
• Adicionar suporte para WRITE_FLUSH_BYTES para RocksDB usado em operadores com estado de streaming SPARK-42792
• Adicionar suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usados no streaming SPARK-42819
• A aquisição de bloqueio do StateStore do RocksDB deve acontecer depois de obter o iterador de entrada do inputRDD SPARK-42566
• Introduzir propagação de marca d'água entre os operadores SPARK-42376
• Limpar arquivos de log e sst órfãos no diretório de ponto de verificação do RocksDB SPARK-42353
• Expandir QueryTerminatedEvent para conter a classe de erro se ela existir em exceção SPARK-43482

ML

• Suporte ao treinamento distribuído de funções usando o Deepspeed SPARK-44264
• Interfaces base do sparkML para spark3.5: estimator/transformer/model/evaluator SPARK-43516
• Tornar MLv2 (ML on spark connect) compatível com pandas >= 2.0 SPARK-43783
• Atualizar interfaces do transformador MLv2 SPARK-43516
• Novo avaliador de regressão logística do pyspark ML implementado na parte superior do distribuidor SPARK-43097
• Adicionar Classifier.getNumClasses de volta SPARK-42526
• Escrever uma classe de aprendizado distribuído do Deepspeed DeepspeedTorchDistributor SPARK-44264
• Implementação básica de salvamento/carregamento para ML no Spark Connect SPARK-43981
• Melhorar a salvaguarda do modelo de regressão logística SPARK-43097
• Implementar o avaliador de pipeline para ML no Spark Connect SPARK-43982
• Implementar o avaliador de validador cruzado SPARK-43983
• Implementar o avaliador de classificação SPARK-44250
• Tornar o distribuidor PyTorch compatível com o Spark Connect SPARK-42993

interface do usuário

• Adicionar uma página de interface do usuário do Spark para Spark Connect SPARK-44394
• Suporte à coluna histograma do Heap na guia Executores SPARK-44153
• Mostrar mensagem de erro na interface do usuário para cada consulta com falha SPARK-44367
• Exibir tempo de adição/remoção dos executores na guia Executores SPARK-44309

Build e outros

• Remover suporte ao Python 3.7 SPARK-43347
• Aumentar a versão mínima do PyArrow para 4.0.0 SPARK-44183
• Suporte ao R 4.3.1 SPARK-43447SPARK-44192
• Adicionar APIs JobTag ao SparkR SparkContext SPARK-44195
• Adicionar funções matemáticas ao SparkR SPARK-44349
• Atualização do Parquet para 1.13.1 SPARK-43519
• Atualizar o ASM para o 9.5 SPARK-43537SPARK-43588
• Atualizar o rocksdbjni para o 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Atualizar o Netty para o 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Atualizar o zstd-jni para o 1.5.5-5 SPARK-42409SPARK-42625SPARK-43080SPARK-43294SPARK-43737SPARK-43994SPARK-44465
• Atualizar dropwizard metrics 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Atualizar o gcs-connector para o 2.2.14 SPARK-42888SPARK-43842
• Atualizar commons-crypto para 1.2.0 SPARK-42488
• Atualizar scala-parser-combinators de 2.1.1 para 2.2.0 SPARK-42489
• Atualizar o protobuf-java para o 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Atualizar commons-codec para 1.16.0 SPARK-44151
• Atualizar o Apache Kafka para o 3.4.1 SPARK-42396SPARK-44181
• Atualizar o RoaringBitmap para o 0.9.45 SPARK-42385SPARK-43495SPARK-44221
• Atualizar o ORC para o 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Atualizar para o Avro 1.11.2 SPARK-44277
• Atualizar commons-compress para 1.23.0 SPARK-43102
• Atualizar o joda-time da versão 2.12.2 para 2.12.5 SPARK-43008
• Atualizar o snappy-java para o 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Atualizar mysql-connector-java de 8.0.31 para 8.0.32 SPARK-42717
• Atualizar o Apache Arrow para o 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Atualizar commons-io para 2.12.0 SPARK-43739
• Atualizar o Apache commons-io para o 2.13.0 SPARK-43739SPARK-44028
• Atualizar o FasterXML Jackson para 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Atualizar o log4j2 para 2.20.0 SPARK-42536
• Atualizar o slf4j para 2.0.7 SPARK-42871
• Atualizar numpy e pandas na versão Dockerfile SPARK-42524
• Atualizar Jersey para 2.40 SPARK-44316
• Atualizar H2 de 2.1.214 para 2.2.220 SPARK-44393
• Atualizar optionator para ^0.9.3 SPARK-44279
• Atualizar bcprov-jdk15on e bcpkix-jdk15on para 1.70 SPARK-44441
• Atualizar o mlflow para 2.3.1 SPARK-43344
• Atualizar o Tink para 1.9.0 SPARK-42780
• Atualizar silenciador para 1.7.13 SPARK-41787SPARK-44031
• Atualizar o Ammonite para 2.5.9 SPARK-44041
• Atualizar Scala para 2.12.18 SPARK-43832
• Atualizar org.scalatestplus:selenium-4-4 para org.scalatestplus:selenium-4-7 SPARK-41587
• Atualizar minimatch para 3.1.2 SPARK-41634
• Atualizar o sbt-assembly de 2.0.0 para 2.1.0 SPARK-41704
• Atualizar o maven-checkstyle-plugin de 3.1.2 para 3.2.0 SPARK-41714
• Atualizar o dev.ludovic.netlib para 3.0.3 SPARK-41750
• Atualizar o hive-storage-api para 2.8.1 SPARK-41798
• Atualizar o Apache httpcore para 4.4.16 SPARK-41802
• Atualizar o Jetty para a versão "9.4.52.v20230823" SPARK-45052
• Atualizar compress-lzf para 1.1.2 SPARK-42274

Remoções, substituições e alterações de comportamento

Remoção futura

Os recursos a seguir serão removidos na próxima versão principal do Spark

• O suporte para Java 8 e Java 11 e a versão mínima de Java com suporte será Java 17
• O suporte para Scala 2.12 e a versão mínima do Scala com suporte será 2.13

Guias de Migração

• Spark Core
• SQL, Conjuntos de dados e DataFrame
• Streaming estruturado
• MLlib (Machine Learning)
• PySpark (Python no Spark)
• SparkR (R no Spark)

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2023-07-13.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)