Databricks Runtime 14.0 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.0, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione a settembre 2023.

Nuove funzionalità e miglioramenti

• Il rilevamento delle righe è GA
• L'I/O predittivo per gli aggiornamenti è disponibile a livello generale
• I vettori di eliminazione sono GA
• Spark 3.5.0 è disponibile a livello generale
• Anteprima pubblica delle funzioni tabellari definite dall'utente per Python
• Anteprima pubblica per la concorrenza a livello di riga
• La directory di lavoro corrente predefinita è stata modificata
• Problema noto con sparklyr
• Introduzione a Spark Connect nell'architettura del cluster condiviso
• Elencare gli aggiornamenti dell'API delle versioni di Spark disponibili

Il rilevamento delle righe è disponibile a livello generale

Il rilevamento delle righe per Delta Lake è ora disponibile a livello generale. Consulta Rilevamento delle righe in Databricks.

L'I/O predittivo per gli aggiornamenti è ora disponibile in GA

L'I/O predittivo per gli aggiornamenti è ora disponibile a livello generale. Si veda Che cos'è l'I/O predittivo?.

I vettori di eliminazione sono disponibili a livello generale

I vettori di eliminazione sono ora disponibili a livello generale. Vedere Vettori di eliminazione in Databricks.

Spark 3.5.0 è in disponibilità generale

Apache Spark 3.5.0 è ora disponibile a livello generale. Vedere Spark Release 3.5.0.

Anteprima pubblica per le funzioni di tabella definite dall'utente per Python

Le funzioni di tabella definite dall'utente consentono di registrare funzioni che restituiscono tabelle anziché valori scalari. Consultare le funzioni di tabella definite dall'utente di Python.

Anteprima pubblica per la concorrenza a livello di riga

La concorrenza a livello di riga riduce i conflitti tra le operazioni di scrittura simultanee rilevando le modifiche a livello di riga e risolvendo automaticamente le modifiche concorrenti nelle scritture simultanee che aggiornano o eliminano righe diverse nello stesso file di dati. Consulta Concorrenza a livello di riga.

La directory di lavoro corrente predefinita è stata modificata

La directory di lavoro corrente predefinita (CWD) per il codice eseguito in locale è ora la directory contenente il notebook o lo script in esecuzione. Sono inclusi codice come %sh e Python o codice R che non usa Spark. Consulta Qual è la directory di lavoro corrente predefinita?.

Problema noto con sparklyr

La versione installata del sparklyr pacchetto (versione 1.8.1) non è compatibile con Databricks Runtime 14.0. Per usare sparklyr, installare la versione 1.8.3 o successiva.

Introduzione a Spark Connect nell'architettura del cluster condiviso

Con Databricks Runtime 14.0 e versioni successive, i cluster condivisi ora usano Spark Connect con il driver Spark dal Python REPL per impostazione predefinita. Le API Spark interne non sono più accessibili dal codice utente.

Spark Connect interagisce ora con il driver Spark da REPL, invece dell'integrazione REPL legacy.

Elencare gli aggiornamenti dell'API delle versioni di Spark disponibili

Abilita Photon impostando runtime_engine = PHOTON e attiva aarch64 scegliendo un tipo di istanza Graviton. Azure Databricks imposta la versione corretta di Databricks Runtime. In precedenza, l'API della versione di Spark restituirà runtime specifici dell'implementazione per ogni versione. Vedere GET /api/2.0/clusters/spark-versions nella guida di riferimento all'API REST.

Modifiche radicali

In Databricks Runtime 14.0 e versioni successive, i cluster con modalità di accesso standard (in precedenza modalità di accesso condiviso) usano Spark Connect per la comunicazione client-server. Sono incluse le modifiche seguenti.

Per altre informazioni sulle limitazioni della modalità di accesso standard, vedere Requisiti di calcolo standard e limitazioni.

Python nei cluster con modalità di accesso standard (in precedenza modalità di accesso condiviso)

• sqlContext non è disponibile. Azure Databricks consiglia di usare la variabile spark per l'istanza di SparkSession.
• Spark Context (sc) non è più disponibile nei Notebooks o quando si usa Databricks Connect in un cluster con la modalità di accesso standard. Le funzioni seguenti sc non sono più disponibili:
  • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
• La funzionalità Informazioni set di dati non è più supportata.
• Non esiste più una dipendenza dalla JVM quando si eseguono query su Apache Spark e, di conseguenza, le API interne correlate alla JVM, ad esempio _jsc, _jconf_jvm_jsparkSession_jreader_jc_jseq_jdf, , , _jmap, e _jcols non sono più supportate.
• Quando si accede ai valori di configurazione usando spark.conf solo valori di configurazione di runtime dinamici sono accessibili.
• I comandi di analisi dichiarativi di Lakeflow Spark non sono ancora supportati nei cluster condivisi.

Delta nei cluster con modalità di accesso standard (in precedenza modalità di accesso condiviso)

• In Python non esiste più una dipendenza da JVM durante l'esecuzione di query su Apache Spark. Le API interne correlate a JVM, ad esempio DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder, e DeltaOptimizeBuilder._jbuilder non sono più supportate.

SQL nei cluster con modalità di accesso standard (in precedenza modalità di accesso condiviso)

• DBCACHE e i comandi DBUNCACHE non sono più supportati.
• Rari casi d'uso come cache table db as show databases non sono più supportati.

Aggiornamenti della libreria

• Librerie di Python aggiornate:
  • asttokens dalla versione 2.2.1 alla 2.0.5
  • attrs versioni da 21.4.0 a 22.1.0
  • botocore da 1.27.28 a 1.27.96
  • Certifi dal 2022.9.14 al 2022.12.7
  • crittografia da 37.0.1 a 39.0.1
  • debugpy dalla versione 1.6.0 alla versione 1.6.7
  • docstring-to-markdown da 0.12 a 0.11
  • esecuzione da 1.2.0 a 0.8.3
  • facets-overview dalla versione 1.0.3 alla versione 1.1.1
  • googleapis-common-protos da 1.56.4 a 1.60.0
  • grpcio da 1.48.1 a 1.48.2
  • idna da 3.3 a 3.4
  • ipykernel da 6.17.1 a 6.25.0
  • ipython da 8.10.0 a 8.14.0
  • Jinja2 da 2.11.3 a 3.1.2
  • jsonschema da 4.16.0 a 4.17.3
  • jupyter_core dalla versione 4.11.2 alla versione 5.2.0
  • kiwisolver da 1.4.2 a 1.4.4
  • MarkupSafe da 2.0.1 a 2.1.1
  • matplotlib da 3.5.2 a 3.7.0
  • nbconvert da 6.4.4 a 6.5.4
  • nbformat da 5.5.0 a 5.7.0
  • nest-asyncio da 1.5.5 a 1.5.6
  • notebook dalla versione 6.4.12 alla versione 6.5.2
  • numpy da 1.21.5 a 1.23.5
  • imballaggio da 21.3 a 22.0
  • pandas da 1.4.4 a 1.5.3
  • pathspec da 0.9.0 a 0.10.3
  • patsy da 0.5.2 a 0.5.3
  • Cuscino da 9.2.0 a 9.4.0
  • pip da 22.2.2 a 22.3.1
  • protobuf da 3.19.4 a 4.24.0
  • pytoolconfig da 1.2.2 a 1.2.5
  • pytz dal 2022.1 al 2022.7
  • s3transfer da 0.6.0 a 0.6.1
  • seaborn da 0.11.2 a 0.12.2
  • setuptools da 63.4.1 a 65.6.3
  • soupsieve da 2.3.1 a 2.3.2.post1
  • stack-data da 0.6.2 a 0.2.0
  • statsmodels da 0.13.2 a 0.13.5
  • terminado da 0.13.1 a 0.17.1
  • traitlets da 5.1.1 a 5.7.1
  • typing_extensions dalla versione 4.3.0 alla versione 4.4.0
  • urllib3 da 1.26.11 a 1.26.14
  • virtualenv da 20.16.3 a 20.16.7
  • ruota da 0.37.1 a 0.38.4
• Librerie R aggiornate:
  • freccia da 10.0.1 a 12.0.1
  • base da 4.2.2 a 4.3.1
  • BLOB da 1.2.3 a 1.2.4
  • scopa da 1.0.3 a 1.0.5
  • bslib da 0.4.2 a 0.5.0
  • cachem da 1.0.6 a 1.0.8
  • cursore da 6.0-93 a 6.0-94
  • chron da 2.3-59 a 2.3-61
  • classe da 7.3-21 a 7.3-22
  • cli dalla versione 3.6.0 alla versione 3.6.1
  • orologio dalla versione 0.6.1 alla versione 0.7.0
  • commonmark da 1.8.1 a 1.9.0
  • compilatore da 4.2.2 a 4.3.1
  • cpp11 da 0.4.3 a 0.4.4
  • curl da 5.0.0 a 5.0.1
  • data.table da 1.14.6 a 1.14.8
  • set di dati da 4.2.2 a 4.3.1
  • dbplyr da 2.3.0 a 2.3.3
  • digest da 0.6.31 a 0.6.33
  • downlit da 0.4.2 a 0.4.3
  • dplyr da 1.1.0 a 1.1.2
  • dtplyr da 1.2.2 a 1.3.1
  • valutare da 0,20 a 0,21
  • fastmap da 1.1.0 a 1.1.1
  • fontawesome aggiornato da 0.5.0 a 0.5.1
  • fs da 1.6.1 a 1.6.2
  • futuro da 1.31.0 a 1.33.0
  • future.apply dalla versione 1.10.0 alla versione 1.11.0
  • gargle da 1.3.0 a 1.5.1
  • ggplot2 da 3.4.0 a 3.4.2
  • gh da 1.3.1 a 1.4.0
  • glmnet da 4.1-6 a 4.1-7
  • Googledrive da 2.0.0 a 2.1.1
  • Googlesheets4 da 1.0.1 a 1.1.1
  • grafica da 4.2.2 a 4.3.1
  • grDevices da 4.2.2 a 4.3.1
  • griglia da 4.2.2 a 4.3.1
  • gtable da 0.3.1 a 0.3.3
  • hardhat da 1.2.0 a 1.3.0
  • haven da 2.5.1 a 2.5.3
  • hms da 1.1.2 a 1.1.3
  • htmltools da 0.5.4 a 0.5.5
  • htmlwidgets da 1.6.1 a 1.6.2
  • httpuv da 1.6.8 a 1.6.11
  • httr da 1.4.4 a 1.4.6
  • ipred da 0.9-13 a 0.9-14
  • jsonlite da 1.8.4 a 1.8.7
  • KernSmooth da 2.23-20 a 2.23-21
  • knitr da 1.42 a 1.43
  • versioni successive dalla versione 1.3.0 alla 1.3.1
  • reticolo da 0,20-45 a 0,21-8
  • lava da 1.7.1 a 1.7.2.1
  • lubridate da 1.9.1 a 1.9.2
  • markdown da 1.5 a 1.7
  • MASSA da 7.3-58.2 a 7.3-60
  • Matrice da 1.5-1 a 1.5-4.1
  • metodi da 4.2.2 a 4.3.1
  • mgcv da 1,8-41 a 1,8-42
  • aggiornamento di modelr da 0.1.10 a 0.1.11
  • nnet da 7.3-18 a 7.3-19
  • openssl dalla versione 2.0.5 alla versione 2.0.6
  • parallelo da 4.2.2 a 4.3.1
  • parallelamente da 1.34.0 a 1.36.0
  • pilastro da 1.8.1 a 1.9.0
  • pkgbuild da 1.4.0 a 1.4.2
  • pkgload da 1.3.2 a 1.3.2.1
  • pROC da 1.18.0 a 1.18.4
  • processx da 3.8.0 a 3.8.2
  • prodlim dal 2019.11.13 al 2023.03.31
  • profvis da 0.3.7 a 0.3.8
  • ps da 1.7.2 a 1.7.5
  • Rcpp da 1.0.10 a 1.0.11
  • readr dalla versione 2.1.3 alla versione 2.1.4
  • readxl da 1.4.2 a 1.4.3
  • ricette da 1.0.4 a 1.0.6
  • rlang da 1.0.6 a 1.1.1
  • rmarkdown da 2.20 a 2.23
  • Rserve da 1.8-12 a 1.8-11
  • RSQLite da 2.2.20 a 2.3.1
  • rstudioapi da 0.14 a 0.15.0
  • sass da 0.4.5 a 0.4.6
  • brillante da 1.7.4 a 1.7.4.1
  • sparklyr da 1.7.9 a 1.8.1
  • SparkR dalla versione 3.4.1 alla versione 3.5.0
  • splines da 4.2.2 a 4.3.1
  • statistiche da 4.2.2 a 4.3.1
  • stats4 da 4.2.2 a 4.3.1
  • sopravvivenza da 3,5-3 a 3,5-5
  • sys dalla versione 3.4.1 alla versione 3.4.2
  • tcltk da 4.2.2 a 4.3.1
  • testat da 3.1.6 a 3.1.10
  • tibble da 3.1.8 a 3.2.1
  • tidyverse da 1.3.2 a 2.0.0
  • TinyTex da 0,44 a 0,45
  • strumenti da 4.2.2 a 4.3.1
  • tzdb da 0.3.0 a 0.4.0
  • usethis dalla versione 2.1.6 alla versione 2.2.2
  • Utilità dalla versione 4.2.2 alla versione 4.3.1
  • vctrs da 0.5.2 a 0.6.3
  • viridisLite da 0.4.1 a 0.4.2
  • vroom da 1.6.1 a 1.6.3
  • waldo da 0.4.0 a 0.5.1
  • xfun da 0.37 a 0.39
  • xml2 da 1.3.3 a 1.3.5
  • zip da 2.2.2 a 2.3.0
• Librerie Java aggiornate:
  • com.fasterxml.jackson.core.jackson-annotations da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.core.jackson-core da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.core.jackson-databind da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.13.4 a 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer da 2.14.2 a 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.14.2 a 2.15.2
  • com.github.luben.zstd-jni da 1.5.2-5 a 1.5.5-4
  • com.google.code.gson.gson da 2.8.9 a 2.10.1
  • com.google.crypto.tink.tink da 1.7.0 a 1.9.0
  • commons-codec.commons-codec da 1.15 a 1.16.0
  • commons-io.commons-io da 2.11.0 a 2.13.0
  • io.airlift.aircompressor da 0,21 a 0,24
  • io.dropwizard.metrics.metrics-core dalla versione 4.2.10 alla versione 4.2.19
  • io.dropwizard.metrics.metrics-graphite da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-jmx da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-json da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-jvm da 4.2.10 a 4.2.19
  • io.dropwizard.metrics.metrics-servlets da 4.2.10 a 4.2.19
  • io.netty.netty-all dalla versione 4.1.87.Final alla versione 4.1.93.Final
  • io.netty.netty-buffer da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-codec da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-codec-http da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-codec-http2 da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-codec-socks da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-common da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-handler dalla versione 4.1.87.Final alla versione 4.1.93.Final
  • io.netty.netty-handler-proxy da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-resolver da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-transport da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-transport-classes-epoll da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue da 4.1.87.Final a 4.1.93.Final
  • io.netty.netty-transport-native-epoll da 4.1.87.Final-linux-x86_64 a 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue da 4.1.87.Final-osx-x86_64 a 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common da 4.1.87.Final a 4.1.93.Final
  • org.apache.arrow.arrow-format da 11.0.0 a 12.0.1
  • org.apache.arrow.arrow-memory-core da 11.0.0 a 12.0.1
  • org.apache.arrow.arrow-memory-netty da 11.0.0 a 12.0.1
  • org.apache.arrow.arrow-vector da 11.0.0 a 12.0.1
  • org.apache.avro.avro da 1.11.1 a 1.11.2
  • org.apache.avro.avro-ipc da 1.11.1 a 1.11.2
  • org.apache.avro.avro-mapred da 1.11.1 a 1.11.2
  • org.apache.commons.commons-compress aggiornato dalla versione 1.21 alla versione 1.23.0
  • org.apache.hadoop.hadoop-client-runtime da 3.3.4 a 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api da 2.19.0 a 2.20.0
  • org.apache.logging.log4j.log4j-api da 2.19.0 a 2.20.0
  • org.apache.logging.log4j.log4j-core da 2.19.0 a 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl da 2.19.0 a 2.20.0
  • org.apache.orc.orc-core da 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce da 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims dalla versione 1.8.4 alla 1.9.0
  • org.apache.xbean.xbean-asm9-shaded da 4.22 a 4.23
  • org.checkerframework.checker-qual da 3.19.0 a 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet da 2.36 a 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core da 2.36 a 2.40
  • org.glassfish.jersey.core.jersey-client da 2.36 a 2.40
  • org.glassfish.jersey.core.jersey-common da 2.36 a 2.40
  • org.glassfish.jersey.core.jersey-server da 2.36 a 2.40
  • org.glassfish.jersey.inject.jersey-hk2 da 2.36 a 2.40
  • org.javassist.javassist dalla versione 3.25.0-GA alla versione 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client da 2.7.4 a 2.7.9
  • org.postgresql.postgresql da 42.3.8 a 42.6.0
  • org.roaringbitmap.RoaringBitmap da 0.9.39 a 0.9.45
  • org.roaringbitmap.shims da 0.9.39 a 0.9.45
  • org.rocksdb.rocksdbjni da 7.8.3 a 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 da 2.4.3 a 2.9.0
  • org.slf4j.jcl-over-slf4j da 2.0.6 a 2.0.7
  • org.slf4j.jul-to-slf4j da 2.0.6 a 2.0.7
  • org.slf4j.slf4j-api da 2.0.6 a 2.0.7
  • org.xerial.snappy.snappy-java da 1.1.10.1 a 1.1.10.3
  • org.yaml.snakeyaml da 1.33 a 2.0

Apache Spark

Databricks Runtime 14.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 13.3 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Correggi le funzioni aes_decrypt e ln in Connect
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Correggere le namedtuples ereditate per funzionare con createDataFrame
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] La cache di CodeGenerator dovrebbe essere specifica per il classloader
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Rendi le query in streaming compatibili con la gestione degli artifact di Connect
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Rendere funzionale ArrowDeserializer con le classi generate da REPL
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Correzione di UDF Python ottimizzate con Arrow su Spark Connect
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Supportare le funzioni protobuf python per Spark Connect
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Rimuovi la funzione uuid/random/chr da PySpark
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Correzione dei valori dei metadati per Artifacts
• [SPARK-44822] [DBRRM-464][python][SQL] Rendi gli UDTF Python per impostazione predefinita non deterministici
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refactor Arrow Python UDTF
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Aggiungere metadati client mancanti alle chiamate
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: Errore di attributo: 'NoneType' non ha l'attributo 'message'
• [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager per tenere traccia di tutte le esecuzioni
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Disabilitare l'ottimizzazione Arrow per impostazione predefinita per gli UDTF Python
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Eseguire ExecuteGrpcResponseSender in esecuzione ricollegabile in un nuovo thread per correggere il controllo del flusso
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Rendi tutti gli iteratori CloseableIterators
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Ripetere ExecutePlan nel caso in cui la richiesta iniziale non raggiunga il server nel client Python
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Ripetere ExecutePlan nel caso in cui la richiesta iniziale non raggiunga il server
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Gli errori spostati in sq/api devono usare anche AnalysisException
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Aggiungi oggetto Encoders
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Followup sulla terminazione della query di streaming quando la sessione del client è scaduta per Spark Connect
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute in ExecutePlanResponseReattachableIterator dopo che riceve un errore dal server
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Rimuovere la dipendenza Catalyst del client Connect
• [SPARK-44664] [DBRRM-396][python][CONNECT] Rilasciare l'esecuzione quando si chiude l'iteratore in Python client
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Rimuovere la directory basata su sessione quando viene rimossa la cache delle sessioni isolate
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Non lasciare iteratori pendenti
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Python client per ricollegarsi a un'esecuzione esistente in Spark Connect
• [SPARK-44637] [SC-138571] Sincronizzare gli accessi a ExecuteResponseObserver
• [SPARK-44538] [SC-138178][connect][SQL] Ripristina Row.jsonValue e associati
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Esecuzione ricollegabile in Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Aggiornare protobuf da 3.19.5 a 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Aumentare il limite di ricorsione del marshaller protobuf
• [SPARK-44591] [SC-138292][connect][SQL] Aggiungere jobTags a SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations deve conservare i metadati alias durante la creazione di una nuova istanza
• [SPARK-44542] [SC-138323][core] Carica con entusiasmo la classe SparkExitCode nel gestore delle eccezioni
• [SPARK-44264] [SC-138143][python]E2E Testing for Deepspeed
• [SPARK-43997] [SC-138347][connect] Aggiungere il supporto per le funzioni definite dall'utente in Java
• [SPARK-44507] [SQL][connect][14.x][14.0] Spostare AnalysisException in sql/api
• [SPARK-44453] [SC-137013][python] Usare difflib per visualizzare gli errori in assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Aggiungere una pagina dell'interfaccia utente spark per Spark Connect
• [SPARK-44611] [SC-138415][connect] Non escludere scala-xml
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Spostare l'inferenza del codificatore in sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Risolto il problema di caricamento della classe causato da...
• [SPARK-44590] [SC-138296][sql][CONNECT] Rimuovere il limite di record batch Arrow per SqlCommandResult
• [SPARK-43968] [SC-138115][python] Migliorare i messaggi di errore per Python UDF con un numero errato di output
• [SPARK-44432] [SC-138293][ss][CONNECT] Terminare le query di streaming quando si verifica il timeout di una sessione in Spark Connect
• [SPARK-44584] [SC-138295][connect] Impostare le informazioni di client_type per AddArtifactsRequest e ArtifactStatusesRequest nel client Scala
• [SPARK-44552] [14.0][sc-138176][SQL] Rimuovere la definizione di private object ParseState da IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Abilitare resample con Spark Connect
• [SPARK-44287] [SC-136223][sql] Usare l'API PartitionEvaluator negli operatori SQL RowToColumnarExec & ColumnarToRowExec.
• [SPARK-39634] [SC-137566][sql] Consenti la suddivisione dei file in combinazione con la generazione dell'indice di riga
• [SPARK-44533] [SC-138058][python] Aggiunta del supporto per accumulatori, broadcast e file di Spark nell'analisi degli UDTF di Python
• [SPARK-44479] [SC-138146][python] Correzione di ArrowStreamPandasUDFSerializer per accettare DataFrame pandas senza colonne.
• [SPARK-44425] [SC-138177][connect] Verificare che l'ID sessione fornito dall'utente sia un UUID
• [SPARK-44535] [SC-138038][connect][SQL] Spostare l'API di streaming richiesta in sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Scrivere una classe per Apprendimento Distribuito con Deepspeed DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Risoluzione per cui ResolveInlineTables non può gestire l'espressione RuntimeReplaceable
• [SPARK-44060] [SC-135693][sql] Generazione del codice per il lato di build dell'hash join esterno con shuffle
• [SPARK-44496] [SC-137682][sql][CONNECT] Spostamento delle interfacce necessarie da SCSC a sql/api
• [SPARK-44532] [SC-137893][connect][SQL] Spostare ArrowUtils in sql/api
• [SPARK-44413] [SC-137019][python] Chiarire l'errore per il tipo di dati arg non supportato in assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] Spostare SparkBuildInfo in common/util
• [SPARK-36612] [SC-133071][sql] Supportare la compilazione left outer join a sinistra o a destra nel join di hash casuale
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils ha generato parametri non corretti per i JAR
• [SPARK-44449] [SC-137818][connect] Upcasting per la deserializzazione diretta di Arrow
• [SPARK-44131] [SC-136346][sql] Aggiungere call_function e deprecare call_udf per l'API Scala
• [SPARK-44541] [SQL] Rimuovere una funzione hasRangeExprAgainstEventTimeCol inutile da UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] MaxRows/maxRowsPerPartition del filtro è 0 se la condizione è FalseLiteral
• [SPARK-44540] [SC-137873][ui] Rimuovere il foglio di stile non usato e i file javascript di jsonFormatter
• [SPARK-44466] [SC-137856][sql] Escludere le configurazioni a partire da SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX da modifiedConfigs
• [SPARK-44477] [SC-137508][sql] Considerare TYPE_CHECK_FAILURE_WITH_HINT come sottoclasse di errore
• [SPARK-44509] [SC-137855][python][CONNECT] Aggiungere un set di API di annullamento dei processi in Spark Connect Python client
• [SPARK-44059] [SC-137023] Aggiungere il supporto per l'analisi degli argomenti denominati per le funzioni integrate
• [SPARK-38476] [SC-136448][core] Usare la classe di errore in org.apache.spark.storage
• [SPARK-44486] [SC-137817][python][CONNECT] Implementare la funzionalità self_destruct PyArrow per toPandas
• [SPARK-44361] [SC-137200][sql] Usare l'API PartitionEvaluator in MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Aggiornare le tabelle dati a 1.13.5 e rimuovere alcuni file png non raggiungibili
• [SPARK-44503] [SC-137808][sql] Aggiungere la grammatica SQL per PARTITION BY e la clausola ORDER BY dopo gli argomenti TABLE per le chiamate TVF
• [SPARK-38477] [SC-136319][core] Usare la classe di errore in org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][connect] Interruzione granulare Spark Connect
• [SPARK-44380] [SC-137415][sql][PYTHON] Supporto per Python UTF da analizzare in Python
• [SPARK-43923] [SC-137020][connect] Pubblica eventi listenerBus durant…
• [SPARK-44303] [SC-136108][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] Correggere la visualizzazione imprevista della colonna HeapHistogram con la casella di selezione tutti
• [SPARK-44409] [SC-136975][sql] Gestire char/varchar in Dataset.to per mantenere la coerenza con altri
• [SPARK-44334] [SC-136576][sql][UI] Lo stato nella risposta dell'API REST per un DDL/DML non riuscito senza processi dovrebbe essere FALLITO anziché COMPLETATO.
• [SPARK-42309] [SC-136703][sql] Introdurre INCOMPATIBLE_DATA_TO_TABLE e sottoclassi.
• [SPARK-44367] [SC-137418][sql][UI] Mostra messaggio di errore nell'interfaccia utente per ogni query non riuscita
• [SPARK-44474] [SC-137195][connect] Riabilitare "Test osserva risposta" in SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
• [SPARK-44310] [SC-136055][connect] Il log di avvio del server connect deve visualizzare il nome host e la porta
• [SPARK-44309] [SC-136193][ui] Visualizzare l'ora di aggiunta/rimozione degli executor nella scheda Executor
• [SPARK-42898] [SC-137556][sql] Indicare che i cast stringa/data non richiedono l'ID del fuso orario
• [SPARK-44475] [SC-137422][sql][CONNECT] Rilocare DataType e Parser in sql/api
• [SPARK-44484] [SC-137562][ss]Aggiungi batchDuration al metodo json di StreamingQueryProgress
• [SPARK-43966] [SC-137559][sql][PYTHON] Supportano funzioni non deterministiche con valori di tabella
• [SPARK-44439] [SC-136973][connect][SS]Fixed listListeners per inviare solo gli ID al client
• [SPARK-44341] [SC-137054][sql][PYTHON] Definire la logica di calcolo tramite l'API PartitionEvaluator e usarla in WindowExec e WindowInPandasExec
• [SPARK-43839] [SC-132680][sql] Convertire _LEGACY_ERROR_TEMP_1337 in UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Aggiungi supporto per Streaming Listener in Scala per Spark Connect
• [SPARK-44260] [SC-135618][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[1215-1245-2329] & Usare checkError() per controllare l'eccezione in _CharVarchar_Suite
• [SPARK-42454] [SC-136913][sql] SPJ: incapsulare tutti i parametri correlati a SPJ in BatchScanExec
• [SPARK-44292] [SC-135844][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][connect] Deserializzazione con freccia diretta
• [SPARK-44324] [SC-137172][sql][CONNECT] Spostare CaseInsensitiveMap in sql/api
• [SPARK-44395] [SC-136744][sql] Aggiungere il test a StreamingTableSuite
• [SPARK-44481] [SC-137401][connect][PYTHON] Rendere pyspark.sql.is_remote un'API
• [SPARK-44278] [SC-137400][connect] Implementare un intercettore server GRPC che pulisce le proprietà locali del thread
• [SPARK-44264] [SC-137211][ml][PYTHON] Supporta il training distribuito delle funzioni tramite DeepSpeed
• [SPARK-44430] [SC-136970][sql] Aggiungere la causa AnalysisException quando l'opzione non è valida
• [SPARK-44264] [SC-137167][ml][PYTHON] Incorpora FunctionPickler nel TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Rendere pubblica l'API assertSchemaEqual
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-43203] [SC-134528][sql] Spostare tutte le gestioni dei casi di Drop Table in DataSource V2
• [SPARK-43755] [SC-137171][connect][MINOR] Aprire AdaptiveSparkPlanHelper.allChildren anziché usare la copia in MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Refactoring TorchDistributor per consentire il puntatore a funzione "run_training_on_file" personalizzato
• [SPARK-43755] [SC-136838][connect] Spostare l'esecuzione da SparkExecutePlanStreamHandler e in un thread diverso
• [SPARK-44411] [SC-137198][sql] Usare l'API PartitionEvaluator in ArrowEvalPythonExec e BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Usare l'API PartitionEvaluator in DebugExec
• [SPARK-43967] [SC-137057][python] Supportare normali UDTF di Python con valori di ritorno vuoti
• [SPARK-43915] [SC-134766][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Supportare gli UDTF Python in Spark Connect
• [SPARK-44154] [SC-137050][sql] Aggiunti più unit test a BitmapExpressionUtilsSuite e apportate lievi migliorie alle espressioni di aggregazione Bitmap
• [SPARK-44169] [SC-135497][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] Rimuovere StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Supportare le UDTF Python ottimizzate con Arrow
• [SPARK-44321] [SC-136308][connect] Decouplare ParseException da AnalysisException
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Reenable test_artifact con modifiche pertinenti
• [SPARK-44145] [SC-136698][sql] Callback quando è pronto per l'esecuzione
• [SPARK-43983] [SC-136404][python][ML][connect] Abilita il test del validatore incrociato per il modello di stima
• [SPARK-44399] [SC-136669][pyhton][CONNECT] Import SparkSession in Python UDF solo quando useArrow è None
• [SPARK-43631] [SC-135300][connect][PS] Abilitare Series.interpolate con Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Aggiungere codice di esempio per ML distribuito per spark connect
• [SPARK-44282] [SC-135948][connect] Preparare la conversione di tipo dati per l'utilizzo nel client Scala di Spark Connect.
• [SPARK-44052] [SC-134469][connect][PS] Aggiungere util per ottenere la classe Column o DataFrame appropriata per Spark Connect.
• [SPARK-43983] [SC-136404][python][ML][connect] Implementare l'estimatore del cross validator
• [SPARK-44290] [SC-136300][connect] File e archivi basati su sessione in Spark Connect
• [SPARK-43710] [SC-134860][ps][CONNECT] Supporto functions.date_part per Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Cleanup & consolidare i ticket per semplificare le attività.
• [SPARK-44150] [SC-135790][python][CONNECT] Cast esplicito della freccia per il tipo restituito non corrispondente in Arrow Python UDF
• [SPARK-43903] [SC-134754][python][CONNECT] Migliorare il supporto dell'input arrayType in Arrow Python UDF
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementare l'analizzatore di classificazione
• [SPARK-44255] [SC-135704][sql] Rilocare StorageLevel in common/utils
• [SPARK-42169] [SC-135735] [SQL] Implementare la generazione di codice per la funzione to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Effettuare il refactoring di PythonUDTFRunner per inviare il tipo restituito separatamente
• [SPARK-43353] [SC-132734][python] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
• [SPARK-44133] [SC-134795][python] Aggiornare MyPy da 0.920 a 0.982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde in formato JSON
• [SPARK-43353] Ripristinare "[SC-132734][es-729763][PYTHON] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore"
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Spostare lo spazio dei nomi da pyspark.mlv2 a pyspark.ml.connect
• [SPARK-44220] [SC-135484][sql] Spostare StringConcat in sql/api
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Aggiungere un modello facoltativo per Catalog.listFunctions
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementare un stimatore di pipeline per ML in Spark Connect
• [SPARK-43888] [SC-132893][core] Rilocare la registrazione in common/utils
• [SPARK-42941] Ripristinare "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde in formato JSON"
• [SPARK-43624] [SC-134557][ps][CONNECT] Aggiungere EWM a SparkConnectPlanner.
• [SPARK-43981] [SC-134137][python][ML] Implementazione di base per il salvataggio e il caricamento di ML in connessioni Spark
• [SPARK-43205] [SC-133371][sql] correzione del test suite SQLQueryTestSuite
• [SPARK-43376] Ripristinare "[SC-130433][sql] Migliorare il riutilizzo della sottoquery con la cache delle tabelle"
• [SPARK-44040] [SC-134366][sql] Correggere le statistiche di calcolo quando il nodo AggregateExec si trova sopra QueryStageExec
• [SPARK-43919] [SC-133374][sql] Estrarre funzionalità JSON fuori riga
• [SPARK-42618] [SC-134433][python][PS] Avviso per le modifiche del comportamento correlate a pandas nella prossima versione principale
• [SPARK-43893] [SC-133381][python][CONNECT] Supporto dei tipi di dati non atomici nelle UDF Python ottimizzate con Apache Arrow
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Abilitare pyspark.pandas.spark.functions.{kurt, skew} in Spark Connect.
• [SPARK-43798] [SC-133990][sql][PYTHON] Supporto Python funzioni di tabella definite dall'utente
• [SPARK-43616] [SC-133849][ps][CONNECT] Abilitare pyspark.pandas.spark.functions.mode in Spark Connect
• [SPARK-43133] [SC-133728] Supporto di Scala Client DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correzione (NullOps|NumOps).(eq|ne) per Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Abilitare pyspark.pandas.spark.functions.{var, stddev} in Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] Abilitare pyspark.pandas.spark.functions.product in Spark Connect
• [SPARK-43610] [SC-133832][connect][PS] Abilitare InternalFrame.attach_distributed_column in Spark Connect.
• [SPARK-43621] [SC-133852][ps][CONNECT] Abilitare pyspark.pandas.spark.functions.repeat in Spark Connect
• [SPARK-43921] [SC-133461][protobuf] Generare file descrittori Protobuf in fase di compilazione
• [SPARK-43613] [SC-133727][ps][CONNECT] Abilitare pyspark.pandas.spark.functions.covar in Spark Connect
• [SPARK-43376] [SC-130433][sql] Migliorare il riutilizzo della sottoquery con la cache delle tabelle
• [SPARK-43612] [SC-132011][connect][PYTHON] Implementare SparkSession.addArtifact nel client Python
• [SPARK-43920] [SC-133611][sql][CONNECT] Creare un modulo sql/api
• [SPARK-43097] [SC-133372][ml] Nuovo strumento di stima della regressione logistica pyspark ML implementato sopra il server di distribuzione
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Rendere MLv2 (ML su spark connect) supportare pandas >= 2.0
• [SPARK-43024] [SC-132716][python] Aggiornare pandas a 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Aggiungere un modello facoltativo per Catalog.listDatabases
• [SPARK-39281] [SC-131422][sql] Velocizzare l'inferenza del tipo Timestamp con formato legacy nell'origine dati JSON/CSV
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Aggiungere un modello facoltativo per Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] API Python client DataStreamWriter foreach()
• [SPARK-43545] [SC-132378][sql][PYTHON] Supporta il tipo di timestamp annidato
• [SPARK-43353] [SC-132734][python] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
• [SPARK-43304] [SC-129969][connect][PYTHON] Eseguire la migrazione di NotImplementedError in PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Interfacce di base di sparkML per spark3.5: estimator/transformer/model/analizzatore
• [SPARK-43128] Ripristinare "[SC-131628][connect][SS] Rendere coerenti le risposte di recentProgress e lastProgress con StreamingQueryProgress nell'API Scala nativa"
• [SPARK-43543] [SC-131839][python] Correggere il comportamento del MapType annidato in Pandas UDF
• [SPARK-38469] [SC-131425][core] Usare la classe di errore in org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Estendere INTERNAL_ERROR con categorie e aggiungere INTERNAL_ERROR_BROADCAST classe di errore
• [SPARK-43265] [SC-129653] Spostare il framework degli errori in un modulo utils comune
• [SPARK-43440] [SC-131229][python][CONNECT] Supporto della registrazione di una funzione definita dall'utente ottimizzata per Arrow in Python
• [SPARK-43528] [SC-131531][sql][PYTHON] Supportare nomi di campo duplicati in createDataFrame con DataFrame pandas
• [SPARK-43412] [SC-130990][python][CONNECT] Introdurre SQL_ARROW_BATCHED_UDF EvalType per funzioni definite dall'utente ottimizzate con Arrow Python
• [SPARK-40912] [SC-130986][core]Sovraccarico delle eccezioni in KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Velocizzare l'inferenza del tipo Timestamp con il formato fornito dall'utente nell'origine dati JSON/CSV
• [SPARK-43473] [SC-131372][python] Integrare il supporto per il tipo struct in createDataFrame da pandas DataFrame
• [SPARK-43443] [SC-131024][sql] Aggiungere benchmark per l'inferenza del tipo Timestamp quando si usa un valore non valido
• [SPARK-41532] [SC-130523][connect][CLIENT] Aggiungere il controllo per le operazioni che coinvolgono più frame di dati
• [SPARK-43296] [SC-130627][connect][PYTHON] Eseguire la migrazione degli errori di sessione di Spark Connect nella classe di errore
• [SPARK-43324] [SC-130455][sql] Gestire i comandi UPDATE per le origini basate su delta
• [SPARK-43347] [SC-130148][python] Rimuovere il supporto a Python 3.7
• [SPARK-43292] [SC-130525][core][CONNECT] Spostare ExecutorClassLoader in core modulo e semplificare Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Aggiungere un caricatore di dati del distributore Torch che carica i dati dalle partizioni di Spark
• [SPARK-43331] [SC-130061][connect] Aggiungere Spark Connect SparkSession.interruptAll
• [SPARK-43306] [SC-130320][python] Eseguire la migrazione di ValueError dai tipi Spark SQL alla classe di errore
• [SPARK-43261] [SC-129674][python] Eseguire la migrazione di TypeError dai tipi Spark SQL alla classe di errore.
• [SPARK-42992] [SC-129465][python] Introdurre PySparkRuntimeError
• [SPARK-16484] [SC-129975][sql] Aggiungere il supporto per Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Spostare canWrite su DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] Python UDF ottimizzati con Arrow in Spark Connect
• [SPARK-43084] [SC-128654] [SS] Aggiungere il supporto applyInPandasWithState per spark connect
• [SPARK-42657] [SC-128621][connect] Supporto per trovare e trasferire i file di classe REPL dal lato client al server come artefatti.
• [SPARK-43098] [SC-77059][sql] Correzione del bug COUNT di precisione quando la sottoquery scalare contiene una clausola GROUP BY
• [SPARK-42884] [SC-126662][connect] Aggiungere l'integrazione di Ammonite REPL
• [SPARK-42994] [SC-128333][ml][CONNECT] Il server di distribuzione PyTorch supporta la modalità locale
• [SPARK-41498] [SC-125343] Ripristino “Propagare i metadati tramite Union”
• [SPARK-42993] [SC-127829][ml][CONNECT] Rendere il server di distribuzione PyTorch compatibile con Spark Connect
• [SPARK-42683] [LC-75] Rinominare automaticamente le colonne di metadati in conflitto
• [SPARK-42874] [SC-126442][sql] Abilitare il nuovo framework di test di golden file per l'analisi per tutti i file di input
• [SPARK-42779] [SC-126042][sql] Consenti alle scritture V2 di indicare la dimensione consigliata delle partizioni shuffle
• [SPARK-42891] [SC-126458][connect][PYTHON] Implementa l'API Map CoGrouped
• [SPARK-42791] [SC-126134][sql] Creare un nuovo framework di test di file di riferimento per l'analisi
• [SPARK-42615] [SC-124237][connect][PYTHON] Effettuare il refactoring di AnalyzePlan RPC e aggiungere session.version
• [SPARK-41302] Annulla “[ALL TESTS][sc-122423][SQL] Assegna il nome a _LEGACY_ERROR_TEMP_1185”
• [SPARK-40770] [SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
• [SPARK-40770] Ripristinare "[TUTTI I TEST][sc-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
• [SPARK-42398] [SC-123500][sql] Ridefinire il valore predefinito della colonna DS v2 interfaccia
• [SPARK-40770] [TUTTI I TEST][sc-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
• [SPARK-40770] Ripristinare "[SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
• [SPARK-40770] [SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
• [SPARK-42038] [ALL TESTS] Revert "[SC-122533][sql] SPJ: Supporta distribuzione parzialmente clusterizzata"
• [SPARK-42038] Revertire "[SC-122533][sql] SPJ: Supporto della distribuzione parzialmente in cluster"
• [SPARK-42038] [SC-122533][sql] SPJ: Supporto della distribuzione parzialmente in cluster
• [SPARK-40550] [SC-120989][sql] DataSource V2: Gestire i comandi DELETE per le origini basate su delta
• [SPARK-40770] Ripristinare "[SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
• [SPARK-40770] [SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
• [SPARK-41302] Ripristinare "[SC-122423][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_1185"
• [SPARK-40550] Ripristinare "[SC-120989][sql] DataSource V2: Gestire i comandi DELETE per le origini basate su delta"
• [SPARK-42123] Ripristinare "[SC-121453][sql] Includere i valori predefiniti della colonna in DESCRIBE e SHOW CREATE TABLE output"
• [SPARK-42146] [SC-121172][core] Rifattorizzare Utils#setStringField per far passare la compilazione maven quando il modulo sql utilizza questo metodo
• [SPARK-42119] Revertire "[SC-121342][sql] Aggiungere funzioni predefinite con valori di tabella inline e inline_outer"

Attrazioni

• Correggi aes_decrypt e ln funzioni in Connect SPARK-45109
• Correggere le tuple denominate ereditate per funzionare correttamente in createDataFrame SPARK-44980
• La cache CodeGenerator è ora specifica del caricatore di classi [SPARK-44795]
• Aggiunto SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• Rendere le query di streaming funzionanti con la gestione degli artefatti di Connect [SPARK-44794]
• ArrowDeserializer funziona con le classi generate da REPL [SPARK-44791]
• Risolto UDF Python ottimizzata con Arrow in Spark Connect [SPARK-44876]
• Supporto client Scala e Go in Spark Connect SPARK-42554SPARK-43351
• Supporto di ML distribuito basato su PyTorch per Spark Connect SPARK-42471
• Supporto di Structured Streaming per Spark Connect in Python e Scala SPARK-42938
• Supporto dell'API Pandas per Python Spark Connect Client SPARK-42497
• Introdurre le funzioni Python UDFs di Arrow SPARK-40307
• Supportare Python funzioni di tabella definite dall'utente SPARK-43798
• Eseguire la migrazione degli errori PySpark in classi di errore SPARK-42986
• Framework di test PySpark SPARK-44042
• Aggiunta del supporto per Datasketches HllSketch SPARK-16484
• Miglioramento della funzione SQL predefinita SPARK-41231
• clausola IDENTIFIER SPARK-43205
• Aggiungere funzioni SQL in Scala, Python e R API SPARK-43907
• Aggiungere il supporto per argomenti con nome alle funzioni SQL SPARK-43922
• Evitare di rieseguire attività non necessarie in caso di perdita di un executor dismesso se i dati di shuffle sono stati migrati SPARK-41469
• Connessione Spark <> per ML distribuita SPARK-42471
• DeepSpeed Distributor SPARK-44264
• Implementare il checkpoint del changelog per l'archivio stati RocksDB SPARK-43421
• Introdurre la propagazione della filigrana tra gli operatori SPARK-42376
• Introduzione a dropDuplicatesWithinWatermark SPARK-42931
• Miglioramenti della gestione della memoria del provider dell'archivio di stato RocksDB SPARK-43311

Spark Connect

• Effettuare il refactoring del modulo sql in sql e sql-api per produrre un set minimo di dipendenze che possono essere condivise tra il client Scala Spark Connect e Spark ed evitare il caricamento di tutte le dipendenze transitive di Spark. SPARK-44273
• Introduzione al client Scala per Spark Connect SPARK-42554
• Supporto dell'API Pandas per Python Spark Connect Client SPARK-42497
• Supporto di ML distribuito basato su PyTorch per Spark Connect SPARK-42471
• Supporto di Structured Streaming per Spark Connect in Python e Scala SPARK-42938
• Versione iniziale del client Go SPARK-43351
• Molti miglioramenti della compatibilità tra i client Spark nativi e Spark Connect in Python e Scala
• Miglioramento della capacità di debug e della gestione delle richieste per le applicazioni client (elaborazione asincrona, tentativi, query di lunga durata)

Spark SQL

Features

• Aggiungere la colonna dei metadati relativa all'inizio e alla lunghezza del blocco di file SPARK-42423
• Supporto per i parametri posizionali in Scala/Java sql() SPARK-44066
• Aggiungere il supporto per i parametri denominati nel parser per le chiamate di funzione SPARK-43922
• Supporto SELECT DEFAULT con ORDER BY, LIMIT, OFFSET per INSERT relazione di origine SPARK-43071
• Aggiungi la grammatica SQL per PARTITION BY e la clausola ORDER BY dopo gli argomenti TABLE per le chiamate TVF SPARK-44503
• Includere i valori predefiniti della colonna in DESCRIBE e nell'output SHOW CREATE TABLESPARK-42123
• Aggiungere un modello facoltativo per Catalog.listCatalogs SPARK-43792
• Aggiungere un modello facoltativo per Catalog.listDatabases SPARK-43881
• Callback quando pronto per l'esecuzione SPARK-44145
• Supporto per l'istruzione "Inserisci per Nome" SPARK-42750
• Aggiungere call_function per l'API Scala SPARK-44131
• Alias stabili di colonne derivate SPARK-40822
• Supportare espressioni costanti generali come valori CREATE/REPLACE TABLE OPTIONS SPARK-43529
• Supportare sottoquery con correlazione tramite INTERSECT/EXCEPT SPARK-36124
• clausola IDENTIFIER SPARK-43205
• MODALITÀ ANSI: Conv deve restituire un errore se la conversione interna causa un overflow SPARK-42427

Funzioni

• Aggiunta del supporto per Datasketches HllSketch SPARK-16484
• Supportare la modalità CBC con aes_encrypt()/aes_decrypt() SPARK-43038
• Supportare TABLE regola del parser degli argomenti per TableValuedFunction SPARK-44200
• Implementare funzioni bitmap SPARK-44154
• Aggiungere la funzione try_aes_decrypt() SPARK-42701
• array_insert dovrebbe avere esito negativo con 0 indice SPARK-43011
• Aggiungere to_varchar alias per to_char SPARK-43815
• Funzione di ordine elevato: implementazione di array_compact di SPARK-41235
• Aggiungere il supporto dell'analizzatore per gli argomenti denominati per le funzioni predefinite SPARK-44059
• Aggiungere NULL per INSERT con elenchi specificati dall'utente con un numero inferiore di colonne rispetto alla tabella di destinazione SPARK-42521
• Aggiunge il supporto per aes_encrypt IV e AAD SPARK-43290
• La funzione DECODE restituisce risultati errati quando è stato passato NULL SPARK-41668
• Supporto di udf 'luhn_check' SPARK-42191
• Supportare la risoluzione implicita degli alias di colonne laterali in Aggregate SPARK-41631
• Supportare l'alias di colonna laterale implicito nelle query con Window SPARK-42217
• Aggiungere gli alias della funzione con 3 argomenti DATE_ADD e DATE_DIFF SPARK-43492

Origini dati

• Supporto char/varchar per il catalogo JDBC SPARK-42904
• Supporto per ottenere parole chiave SQL in modo dinamico tramite l'API JDBC e TVF SPARK-43119
• DataSource V2: Gestire i comandi MERGE per le origini basate su delta SPARK-43885
• DataSource V2: Gestire i comandi MERGE per le origini basate su gruppi SPARK-43963
• DataSource V2: gestire i comandi di UPDATE per le origini basate su gruppi spark-43975
• DataSource V2: consente di rappresentare gli aggiornamenti come eliminazioni e inserisce SPARK-43775
• Consentire ai dialetti jdbc di eseguire l'override della query usata per creare una tabella SPARK-41516
• SPJ: supportare la distribuzione parzialmente in cluster SPARK-42038
• DSv2 consente a CTAS/RTAS di riservare la nullabilità dello schema SPARK-43390
• Aggiungere spark.sql.files.maxPartitionNum SPARK-44021
• Gestire i comandi UPDATE per le origini basate su delta SPARK-43324
• Consentire alle scritture V2 di indicare le dimensioni consigliate delle partizioni shuffle SPARK-42779
• Supporto del codec di compressione lz4raw per Parquet SPARK-43273
• Avro: scrittura di unioni complesse SPARK-25050
• Velocizzare l'inferenza del tipo Timestamp utilizzando il formato fornito dall'utente per la sorgente dati JSON/CSV SPARK-39280
• Avro per supportare un tipo decimale personalizzato supportato da Long SPARK-43901
• Evitare lo shuffle in Join partizionato per archiviazione quando le chiavi di partizione non corrispondono, ma le espressioni join sono compatibili SPARK-41413
• Modificare il tipo di dati binario in un tipo di dati non supportato in formato CSV SPARK-42237
• Consentire ad Avro di convertire il tipo di unione in SQL con nome di campo stabile con tipo SPARK-43333
• Velocizzare l'inferenza del tipo Timestamp con il formato legacy nell'origine dati JSON/CSV SPARK-39281

Ottimizzazione delle query

• Eliminazione delle sottoespressioni per supportare l'espressione breve SPARK-42815
• Migliorare la stima delle statistiche di join se un lato può mantenere l'univocità SPARK-39851
• Introdurre il limite di gruppo di Window per il filtro basato sul rango per ottimizzare il calcolo top-k SPARK-37099
• Correzione del comportamento null IN (elenco vuoto) nelle regole di ottimizzazione SPARK-44431
• Dedurre e applicare il limite della finestra se partitionSpec è vuoto SPARK-41171
• Rimuovere l'outer join se sono tutte funzioni di aggregazione distinte SPARK-42583
• Comprimere due finestre adiacenti con la stessa partizione/ordine nella sottoquery SPARK-42525
• Push down limit through Python UDFs SPARK-42115
• Ottimizzare l'ordine dei predicati di filtro SPARK-40045

Generazione di codice ed esecuzione di query

• Il filtro di runtime deve supportare il lato join shuffle a più livelli come lato di creazione del filtro SPARK-41674
• Supporto di Codegen per HiveSimpleUDF SPARK-42052
• Supporto di Codegen per HiveGenericUDF SPARK-42051
• Supporto di Codegen per l'hash join casuale esterno del lato di costruzione SPARK-44060
• Implementare la generazione di codice per la funzione to_csv (StructsToCsv) SPARK-42169
• Rendere AQE compatibile con InMemoryTableScanExec SPARK-42101
• Supporta il build left outer join o right outer join nel shuffled hash join SPARK-36612
• Rispetta RequiresDistributionAndOrdering in CTAS/RTAS SPARK-43088
• Coalesce dei bucket nel join applicato al lato del flusso di un broadcast join SPARK-43107
• Imposta Nullable correttamente sulla chiave di join coalescenti nel join esterno completo USING SPARK-44251
• Correggere la Nullabilità della sottoquery IN listQuery SPARK-43413

Altre modifiche rilevanti

• Impostare Nullable correttamente per le chiavi nei JOIN USING SPARK-43718
• Correggere il bug COUNT(*) è null nella sottoquery scalare correlata SPARK-43156
• Dataframe.joinWith outer-join deve restituire un valore nullo per la riga senza corrispondenza SPARK-37829
• Rinominare automaticamente le colonne di metadati in conflitto SPARK-42683
• Documentare le classi di errore di Spark SQL nella documentazione relativa all'utente SPARK-42706

PySpark

Features

• Aggiungere il supporto per i parametri posizionali in Python sql() SPARK-44140
• Supporto di SQL con parametri per sql() SPARK-41666
• Supportare Python funzioni di tabella definite dall'utente SPARK-43797
• Supporto per impostare Python eseguibile per le API della funzione UDF e pandas nei ruoli di lavoro durante il runtime SPARK-43574
• Aggiungi DataFrame.offset a PySpark SPARK-43213
• Implementare dir() in pyspark.sql.dataframe.DataFrame per includere colonne SPARK-43270
• Aggiungere l'opzione per usare vettori di grandi dimensioni e larghezza variabile per le operazioni UDF freccia SPARK-39979
• Rendere mapInPandas/mapInArrow supportare l'esecuzione in modalità barriera SPARK-42896
• Aggiungi le API di JobTag a PySpark SparkContext SPARK-44194
• Supporto per Python UDTF da analizzare in Python SPARK-44380
• Esporre TimestampNTZType in pyspark.sql.types SPARK-43759
• Supporto del tipo timestamp annidato SPARK-43545
• Supporto per UserDefinedType nella funzione createDataFrame da pandas DataFrame e toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Aggiungere l'opzione binaria del descrittore all'API Pyspark Protobuf SPARK-43799
• Accettare le tuple generiche come suggerimenti di tipo di Pandas UDF SPARK-43886
• Aggiungere la funzione array_prepend SPARK-41233
• Aggiungere la funzione assertDataFrameEqual util SPARK-44061
• Supportare Python UDF ottimizzate per le frecce SPARK-43964
• Consenti precisione personalizzata per l'uguaglianza approssimata fp SPARK-44217
• Rendere pubblica l'API assertSchemaEqual SPARK-44216
• Supporto fill_value per ps. Serie SPARK-42094
• Supporto per il tipo struct in createDataFrame da pandas DataFrame SPARK-43473

Altre modifiche rilevanti

• Aggiungere il supporto del completamento automatico per df[|] in pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Deprecare e rimuovere le API che verranno rimosse in pandas 2.0 [SPARK-42593]
• Creare Python prima scheda per gli esempi di codice - Guida spark SQL, dataframe e set di dati SPARK-42493
• Aggiornamento degli esempi di codice della documentazione spark rimanenti per visualizzare Python per impostazione predefinita SPARK-42642
• Usare nomi di campo deduplicati durante la creazione di Arrow RecordBatch [SPARK-41971]
• Supportare nomi duplicati di campo in createDataFrame con DataFrame Pandas [SPARK-43528]
• Consenti parametro columns durante la creazione di dataframe con serie [SPARK-42194]

Nucleo

• Pianificare mergeFinalize quando si riprova il push del merge shuffleMapStage ma nessuna attività è in esecuzione SPARK-40082
• Introdurre PartitionEvaluator per l'esecuzione dell'operatore SQL SPARK-43061
• Consenti a ShuffleDriverComponent di dichiarare se i dati di shuffle vengono archiviati in modo affidabile SPARK-42689
• Aggiungere il limite massimo di tentativi per le fasi per evitare potenziali tentativi infiniti SPARK-42577
• Configurare i log a livello di configurazione Spark statica SPARK-43782
• Ottimizzare PercentileHeap SPARK-42528
• Aggiungere il parametro "reason" a TaskScheduler.cancelTasks SPARK-42602
• Evitare di rieseguire attività non necessarie in caso di perdita di un executor dismesso se i dati di shuffle sono stati migrati SPARK-41469
• Correzione del sottocontatore dell'accumulatore nel caso del task di ripetizione con rdd cache SPARK-41497
• Usare RocksDB per spark.history.store.hybridStore.diskBackend per impostazione predefinita SPARK-42277
• NonFateSharingCache wrapper per Guava Cache SPARK-43300
• Migliorare le prestazioni di MapOutputTracker.updateMapOutput SPARK-43043
• Consentire alle app di determinare se i loro metadati vengano salvati nel database dal servizio shuffle esterno SPARK-43179
• Aggiungere la variabile d'ambiente SPARK_DRIVER_POD_IP ai pod dell'executor SPARK-42769
• Monta la mappa di configurazione hadoop nel pod executor SPARK-43504

Streaming Strutturato

• Aggiunta del supporto per il monitoraggio del consumo di memoria dei blocchi bloccati per il negozio di stato di RocksDB SPARK-43120
• Aggiungere miglioramenti alla gestione della memoria del provider dell'archivio stati RocksDB SPARK-43311
• Introduzione a dropDuplicatesWithinWatermark SPARK-42931
• Introdurre un nuovo callback onQueryIdle() a StreamingQueryListener SPARK-43183
• Aggiungere l'opzione per ignorare il coordinatore del commit come parte dell'API StreamingWrite per origini/destinazioni DSv2 SPARK-42968
• Introdurre un nuovo callback "onQueryIdle" per StreamingQueryListener SPARK-43183
• Implementare il checkpointing basato su Changelog per il provider dello stato di archiviazione di RocksDB SPARK-43421
• Aggiungere il supporto per WRITE_FLUSH_BYTES per RocksDB utilizzato negli operatori stateful di streaming SPARK-42792
• Aggiungere il supporto per impostare max_write_buffer_number e write_buffer_size per RocksDB usato nello streaming SPARK-42819
• L'acquisizione del lock di RocksDB StateStore dovrebbe verificarsi dopo aver ottenuto l'iteratore di input da inputRDD SPARK-42566
• Introdurre la propagazione della filigrana tra gli operatori SPARK-42376
• Pulire i file di log e sst orfani nella directory checkpoint di RocksDB SPARK-42353
• Espandere QueryTerminatedEvent per contenere la classe di errore, se presente nell'eccezione SPARK-43482

ML

• Supportare il training distribuito delle funzioni con Deepspeed SPARK-44264
• Interfacce di base di sparkML per spark3.5: estimator/transformer/model/analizzatore SPARK-43516
• Assicurati che MLv2 (ML su spark connect) supporti pandas >= 2.0 SPARK-43783
• Aggiornamento delle interfacce di MLv2 Transformer SPARK-43516
• Nuovo strumento di stima della regressione logistica pyspark ML implementato sopra il server di distribuzione SPARK-43097
• Aggiungi di nuovo Classifier.getNumClasses SPARK-42526
• Scrivi una classe di apprendimento distribuito Deepspeed, DeepspeedTorchDistributor SPARK-44264
• Implementazione di base del salvataggio/caricamento per ML in spark connect SPARK-43981
• Migliorare il salvataggio del modello di regressione logistica SPARK-43097
• Implementare lo strumento di stima della pipeline per ML in Spark Connect SPARK-43982
• Implementare lo stimatore del validatore incrociato SPARK-43983
• Implementare l'analizzatore di classificazione SPARK-44250
• Rendere compatibile il server di distribuzione PyTorch con Spark Connect SPARK-42993

INTERFACCIA UTENTE

• Aggiungere una pagina dell'interfaccia utente spark per Spark Connect SPARK-44394
• Supporto della colonna Istogramma heap nella scheda Executors SPARK-44153
• Visualizzare il messaggio di errore nell'interfaccia utente per ogni query spark-44367 non riuscita
• Visualizzare l'ora di aggiunta/rimozione degli executor nella scheda Executors SPARK-44309

Costruire e Altri

• Rimuovere Python 3.7 Support SPARK-43347
• Creare la versione minima di PyArrow a 4.0.0 SPARK-44183
• Supporto di R 4.3.1 SPARK-43447SPARK-44192
• aggiungere le API JobTag a SparkR SparkContext SPARK-44195
• Aggiungere funzioni matematiche a SparkR SPARK-44349
• Aggiornare Parquet alla versione 1.13.1 SPARK-43519
• Aggiornare ASM a 9.5 SPARK-43537SPARK-43588
• Aggiornare rocksdbjni a 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Aggiornare Netty a 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Aggiornare zstd-jni a 1.5.5-5 SPARK-42409SPARK-42625SPARK-43080SPARK-43294SPARK-43737SPARK-43994SPARK-44465
• Aggiornare le metriche dropwizard 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Aggiornare gcs-connector a 2.2.14 SPARK-42888SPARK-43842
• Aggiornare commons-crypto a 1.2.0 SPARK-42488
• Aggiornare scala-parser-combinator da 2.1.1 a 2.2.0 SPARK-42489
• Aggiornare protobuf-java a 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Aggiornare commons-codec a 1.16.0 SPARK-44151
• Aggiornare Apache Kafka alla versione 3.4.1 SPARK-42396SPARK-44181
• Aggiornare RoaringBitmap a 0.9.45 SPARK-42385SPARK-43495SPARK-44221
• Aggiornare ORC a 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Eseguire l'aggiornamento ad Avro 1.11.2 SPARK-44277
• Aggiornare commons-compress a 1.23.0 SPARK-43102
• Aggiornare joda-time dalla versione 2.12.2 alla versione 2.12.5 SPARK-43008
• Aggiornare snappy-java a 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Aggiornare mysql-connector-java dalla versione 8.0.31 alla versione 8.0.32 SPARK-42717
• Aggiornare Apache Arrow a 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Aggiornare commons-io a 2.12.0 SPARK-43739
• Aggiornare Apache commons-io a 2.13.0 SPARK-43739SPARK-44028
• Aggiornare FasterXML jackson a 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Aggiornare log4j2 a 2.20.0 SPARK-42536
• Aggiornare slf4j a 2.0.7 SPARK-42871
• Aggiorna numpy e pandas nel Dockerfile di rilascio SPARK-42524
• Aggiornare Jersey alla versione 2.40 SPARK-44316
• Aggiornare H2 dalla versione 2.1.214 alla versione 2.220 SPARK-44393
• Opzione di aggiornamento a ^0.9.3 SPARK-44279
• Aggiornare bcprov-jdk15on e bcpkix-jdk15on alla versione 1.70 SPARK-44441
• Aggiornare mlflow a 2.3.1 SPARK-43344
• Aggiornare Tink a 1.9.0 SPARK-42780
• Aggiornare il silenziatore alla versione 1.7.13 SPARK-41787SPARK-44031
• Aggiornare Ammonite a 2.5.9 SPARK-44041
• Aggiornare Scala alla versione 2.12.18 SPARK-43832
• Aggiornare org.scalatestplus:selenium-4-4 a org.scalatestplus:selenium-4-7 SPARK-41587
• Aggiornare minimatch a 3.1.2 SPARK-41634
• Aggiornare sbt-assembly da 2.0.0 a 2.1.0 SPARK-41704
• Aggiornare maven-checkstyle-plugin da 3.1.2 a 3.2.0 SPARK-41714
• Eseguire l'aggiornamento di dev.ludovic.netlib alla versione 3.0.3 SPARK-41750
• Aggiornare hive-storage-api a 2.8.1 SPARK-41798
• Aggiornare Apache httpcore a 4.4.16 SPARK-41802
• Aggiornare il jetty alla versione 9.4.52.v20230823 SPARK-45052
• Aggiornare compress-lzf a 1.1.2 SPARK-42274

Rimozioni, modifiche del comportamento e deprecazione

Rimozione imminente

Le funzionalità seguenti verranno rimosse nella prossima versione principale di Spark

• Il supporto per Java 8 e Java 11 e la versione minima supportata Java sarà Java 17
• Il supporto per Scala 2.12 e la versione minima supportata di Scala sarà la 2.13

Guide alla migrazione

• Spark Core
• SQL, set di dati e DataFrame
• Structured Streaming
• MLlib (Machine Learning)
• PySpark (Python in Spark)
• SparkR (R in Spark)

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Librerie di Python installate

Librerie R installate

Le librerie di R vengono installate dallo snapshot di Posit Gestione pacchetti del CRAN il 13/07/2023.

Librerie Java e Scala installate (versione cluster Scala 2.12)