Databricks Runtime 15.1 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 15.1, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione nell'aprile 2024.

Modifiche di rilievo

Il supporto per Databricks Runtime 15.0 e Databricks Runtime 15.0 per Machine Learning termina il 31 maggio 2024 perché un aggiornamento della libreria pandas dalla versione 1.5.3 alla versione 2.0.3 nella versione 15.0 ha causato una modifica di rilievo in più API Apache Spark. Per informazioni dettagliate sulle modifiche di rilievo, vedere La libreria Python pandas è stata declassata alla versione 1.5.3. Per risolvere questa incompatibilità, Databricks ha rilasciato Databricks Runtime 15.1 e Databricks Runtime 15.1 per Machine Learning. Le funzionalità supportate da queste versioni sono le stesse delle versioni 15.0, ma con il downgrade della versione pandas alla versione 1.5.3.

Tutti i cluster o i processi esistenti che usano le versioni di Databricks Runtime 15.0 continueranno a funzionare, ma non riceveranno aggiornamenti del prodotto o della sicurezza. Non è più possibile configurare nuove risorse di calcolo che usano Databricks Runtime 15.0 o Databricks Runtime 15.0 ML nell'interfaccia utente di Databricks. Se non si usano funzionalità o API che richiedono pandas 2.0+, Databricks consiglia di passare a Databricks Runtime 15.1.

Se si utilizzano funzionalità o API disponibili solo in pandas 2.0+ e non si utilizzano funzioni interessate da questa versione, Databricks consiglia di passare a Databricks Runtime 15.1 e di aggiornare il pacchetto pandas predefinito utilizzando librerie con ambito cluster o notebook. Ad esempio, per aggiornare la libreria pandas in un notebook di Databricks, usare il comando seguente:

%pip install pandas==2.0.3

La libreria di Python pandas è stata sottoposta a downgrade a 1.5.3

In questa versione, la libreria pandas viene sottoposta a downgrade dalla versione 2.0.3 alla 1.5.3. Questo downgrade è stato necessario perché le incompatibilità nella versione 2.0.3 di pandas hanno causato errori in alcune API Pandas nelle funzioni Spark. Di seguito sono elencate le funzioni interessate dalla versione 2.0.3 di pandas:

• pyspark.date_range: parametro closed mancante, che causa errori quando questa funzione viene chiamata dal codice esistente.
• La funzionalità di GroupBy con MultiIndex le colonne viene modificata, causando un comportamento imprevisto.
• Alcuni datetime attributi di DatetimeIndex (ad esempio day, month, yeare così via) restituiscono int32 tipi di dati anziché int64 tipi di dati.

La funzione PySpark spark.sql() ha ora esito negativo per i tipi di argomento non validi

In Databricks Runtime 15.1 e versioni successive, il args parametro per i parametri denominati o posizionali passati alla spark.sql() funzione deve essere un dizionario o un elenco. Se viene passato un altro tipo di oggetto, viene generato l'errore seguente: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

L'archiviazione delle librerie nella radice DBFS è deprecata e disabilitata per impostazione predefinita

Per migliorare la sicurezza delle librerie in un'area di lavoro Azure Databricks, l'archiviazione dei file di libreria nella radice DBFS è deprecata e disabilitata per impostazione predefinita a partire da Databricks Runtime 15.1. Databricks consiglia di caricare tutte le librerie, incluse le librerie Python, i file JAR e i connettori Spark, nei file dell'area di lavoro, nei volumi di Unity Catalog o usando un repository di pacchetti. Vedere Raccomandazioni per il caricamento delle librerie.

Per riabilitare l'archiviazione delle librerie nella radice DBFS, impostare il parametro di configurazione spark seguente: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

La versione di Python predefinita viene aggiornata dalla versione 3.10 alla versione 3.11

Con Databricks Runtime 15.1, la versione predefinita Python è 3.11.0. Per l'elenco delle librerie di Python aggiornate, vedere Library upgrades.

JDK 11 viene rimosso

Come annunciato in precedenza, JDK 11 viene rimosso da Databricks Runtime 15.1 e versioni successive. Databricks consiglia l'aggiornamento a JDK 17 durante l'aggiornamento a Databricks Runtime 15.1 e versioni successive. Vedere Databricks SDK per Java.

Python REPL termina in modo corretto

Con Databricks Runtime 15.1, il processo REPL del notebook Python termina normalmente all'uscita. Ciò fa sì che qualsiasi hook atexit venga rispettato. Ad esempio, in un flusso di lavoro con più attività del notebook Python, atexit hook registrati nella prima attività vengono eseguiti prima dell'esecuzione della seconda attività del notebook Python.

Miglioramenti e nuove funzionalità

• La clausola * (asterisco) è ora supportata nella clausola WHERE
• La spark.sql.json.enablePartialResults configurazione è ora abilitata per impostazione predefinita
• Le librerie cluster supportano ora i file requirements.txt
• Interfaccia della riga di comando di Databricks ora disponibile nel terminale Web
• Aggiungi repository di Python predefiniti alle configurazioni del cluster
• Terminale Web disponibile nei cluster standard
• I controlli di accesso alle tabelle del metastore e del pass-through delle credenziali e del metastore Hive sono deprecati

La clausola * (asterisco) è ora supportata nella clausola WHERE

È ora possibile usare la clausola star (*) nella WHERE clausola per fare riferimento a tutte le colonne dell'elenco SELECT. Ad esempio: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

La spark.sql.json.enablePartialResults configurazione è ora abilitata per impostazione predefinita

La configurazione spark.sql.json.enablePartialResults di Spark è ora abilitata per impostazione predefinita, consentendo al parser JSON di gestire correttamente gli errori di analisi per tipi complessi, ad esempio struct, mapping e matrice senza eliminare i campi rimanenti. Questa modifica risolve un problema di coerenza per le origini dati JSON con l'eliminazione delle colonne.

Le librerie cluster supportano ora i file requirements.txt

È ora possibile installare le librerie cluster usando un file archiviato in un requirements.txt file dell'area di lavoro o in un volume del catalogo Unity. In cluster in modalità di accesso dedicato e standard , il requirements.txt file può fare riferimento ad altri file. Nei cluster con modalità di accesso condiviso senza isolamento, sono supportati solo i pacchetti PyPI. Vedere Librerie con ambito di calcolo.

Interfaccia della riga di comando di Databricks ora disponibile nel terminale Web

È ora possibile usare l'interfaccia della riga di comando di Databricks dal terminale Web nel notebook. Il notebook deve essere collegato a un cluster in modalità di accesso condiviso Dedicato o Nessun isolamento . Per informazioni dettagliate, vedere Usare il terminale Web e l'interfaccia della riga di comando di Databricks.

Aggiungere repository di Python predefiniti alle configurazioni del cluster

In Databricks Runtime 15.1 e versioni successive, è possibile configurare i parametri globali pip index-url e extra-index-url per l'installazione di librerie a livello di cluster e con ambito notebook durante la configurazione di un cluster o la definizione di criteri del cluster. A tale scopo, impostare le variabili DATABRICKS_PIP_INDEX_URL di ambiente e DATABRICKS_PIP_EXTRA_INDEX_URL.

Terminale Web disponibile nei cluster standard

In Databricks Runtime 15.1 e versioni successive è possibile usare il terminale Web nei cluster con la modalità di accesso Standard .

I controlli di accesso alle tabelle del metastore Hive e il pass-through delle credenziali sono deprecati.

Il pass-through delle credenziali e i controlli di accesso alle tabelle metastore Hive sono modelli di governance dei dati legacy. Aggiornamento a Unity Catalog per semplificare la sicurezza e la governance dei dati fornendo una posizione centrale per amministrare e controllare l'accesso ai dati in più aree di lavoro nell'account. Vedere Che cos'è il catalogo Unity?.

Il supporto per il pass-through delle credenziali e i controlli di accesso alle tabelle metastore Hive verranno rimossi in una versione futura di Databricks Runtime.

Aggiornamenti della libreria

• Librerie di Python aggiornate:
  • nero da 22.6.0 a 23.3.0
  • boto3 da 1.24.28 a 1.34.39
  • botocore da 1.27.96 a 1.34.39
  • certifi dal 7.12.2022 al 22.7.2023
  • crittografia da 39.0.1 a 41.0.3
  • databricks-sdk da 0.1.6 a 0.20.0
  • distlib da 0.3.7 a 0.3.8
  • googleapis-common-protos da 1.62.0 a 1.63.0
  • grpcio da 1.48.2 a 1.60.0
  • grpcio-status da 1.48.1 a 1.60.0
  • importlib-metadata dalla versione 4.6.4 alla versione 6.0.0
  • ipykernel da 6.25.0 a 6.25.1
  • ipython da 8.14.0 a 8.15.0
  • Aggiornamento di ipywidgets da 7.7.2 a 8.0.4
  • jupyter_core da 5.2.0 a 5.3.0
  • jupyterlab-widgets da 1.0.0 a 3.0.5
  • matplotlib da 3.7.0 a 3.7.2
  • pip da 22.3.1 a 23.2.1
  • platformdirs dalla versione 2.5.2 alla versione 3.10.0
  • protobuf da 4.24.0 a 4.24.1
  • pyarrow da 8.0.0 a 14.0.1
  • Pygments da 2.11.2 a 2.15.1
  • pyodbc da 4.0.32 a 4.0.38
  • richieste dalla versione 2.28.1 alla versione 2.31.0
  • s3transfer da 0.6.2 a 0.10.0
  • scikit-learn dalla versione 1.1.1 alla versione 1.3.0
  • scipy da 1.10.0 a 1.11.1
  • setuptools da 65.6.3 a 68.0.0
  • statsmodels da 0.13.5 a 0.14.0
  • tenacia da 8.1.0 a 8.2.2
  • tornado da 6.1 a 6.3.2
  • typing_extensions dalla versione 4.4.0 alla versione 4.7.1
  • urllib3 da 1.26.14 a 1.26.16
  • virtualenv da 20.16.7 a 20.24.2
  • widgetsnbextension da 3.6.1 a 4.0.5
  • zipp da 1.0.0 a 3.11.0
• Librerie R aggiornate:
  • freccia da 12.0.1 a 14.0.0.2
  • askpass da 1.1 a 1.2.0
  • base da 4.3.1 a 4.3.2
  • brew da 1.0-8 a 1.0-10
  • brio da 1.1.3 a 1.1.4
  • bslib da 0.5.0 a 0.6.1
  • cli dalla versione 3.6.1 alla versione 3.6.2
  • segno comune da 1.9.0 a 1.9.1
  • compilatore da 4.3.1 a 4.3.2
  • configurazione da 0.3.1 a 0.3.2
  • cpp11 da 0.4.4 a 0.4.7
  • credenziali dalla versione 1.3.2 alla versione 2.0.1
  • curl da 5.0.1 a 5.2.0
  • data.table da 1.14.8 a 1.15.0
  • set di dati da 4.3.1 a 4.3.2
  • DBI da 1.1.3 a 1.2.1
  • dbplyr da 2.3.3 a 2.4.0
  • descrizione da 1.4.2 a 1.4.3
  • digest da 0.6.33 a 0.6.34
  • dplyr dalla versione 1.1.2 alla versione 1.1.4
  • e1071 da 1.7-13 a 1.7-14
  • valutare da 0,21 a 0,23
  • fansi da 1.0.4 a 1.0.6
  • fontawesome da 0.5.1 a 0.5.2
  • fs da 1.6.2 a 1.6.3
  • futuro dalla 1.33.0 alla 1.33.1
  • future.apply dalla versione 1.11.0 alla versione 1.11.1
  • gargle da 1.5.1 a 1.5.2
  • gert da 1.9.2 a 2.0.1
  • ggplot2 da 3.4.2 a 3.4.4
  • glmnet da 4.1-7 a 4.1-8
  • colla da 1.6.2 a 1.7.0
  • grafica da 4.3.1 a 4.3.2
  • grDevices dalla versione 4.3.1 alla versione 4.3.2
  • griglia da 4.3.1 a 4.3.2
  • gtable da 0.3.3 a 0.3.4
  • hardhat da 1.3.0 a 1.3.1
  • haven dalla versione 2.5.3 alla versione 2.5.4
  • htmltools da 0.5.5 a 0.5.7
  • htmlwidgets da 1.6.2 a 1.6.4
  • httpuv da 1.6.11 a 1.6.14
  • httr da 1.4.6 a 1.4.7
  • httr2 da 0.2.3 a 1.0.0
  • jsonlite da 1.8.7 a 1.8.8
  • knitr da 1.43 a 1.45
  • etichettatura da 0.4.2 a 0.4.3
  • versioni successive dalla versione 1.3.1 alla versione 1.3.2
  • lava da 1.7.2.1 a 1.7.3
  • ciclo di vita da 1.0.3 a 1.0.4
  • listenv da 0.9.0 a 0.9.1
  • lubridate da 1.9.2 a 1.9.3
  • Markdown da 1.7 a 1.12
  • metodi da 4.3.1 a 4.3.2
  • openssl dalla versione 2.0.6 alla versione 2.1.1
  • parallelo da 4.3.1 a 4.3.2
  • pkgbuild da 1.4.2 a 1.4.3
  • pkgload da 1.3.2.1 a 1.3.4
  • plyr da 1.8.8 a 1.8.9
  • prettyunits da 1.1.1 a 1.2.0
  • pROC da 1.18.4 a 1.18.5
  • processx dalla versione 3.8.2 alla versione 3.8.3
  • prodlim dal 2023.03.31 al 2023.08.28
  • avanzamento da 1.2.2 a 1.2.3
  • progressr da 0.13.0 a 0.14.0
  • promesse dalla versione 1.2.0.1 alla versione 1.2.1
  • ps da 1.7.5 a 1.7.6
  • purrr da 1.0.1 a 1.0.2
  • ragg da 1.2.5 a 1.2.7
  • Rcpp da 1.0.11 a 1.0.12
  • RcppEigen da 0.3.3.9.3 a 0.3.3.9.4
  • readr dalla versione 2.1.4 alla versione 2.1.5
  • ricette da 1.0.6 a 1.0.9
  • rimatch dalla versione 1.0.1 alla versione 2.0.0
  • versioni dalla 2.4.2 alla 2.4.2.1
  • reprex da 2.0.2 a 2.1.0
  • rlang da 1.1.1 a 1.1.3
  • rmarkdown da 2.23 a 2.25
  • RODBC da 1.3-20 a 1.3-23
  • roxygen2 da 7.2.3 a 7.3.1
  • rprojroot da 2.0.3 a 2.0.4
  • Rserve da 1.8-11 a 1.8-13
  • RSQLite da 2.3.1 a 2.3.5
  • sass da 0.4.6 a 0.4.8
  • scala da 1.2.1 a 1.3.0
  • brillante da 1.7.4.1 a 1.8.0
  • sparklyr da 1.8.1 a 1.8.4
  • spline da 4.3.1 a 4.3.2
  • statistiche da 4.3.1 a 4.3.2
  • stats4 da 4.3.1 a 4.3.2
  • Aggiornamento delle versioni di stringi dalla 1.7.12 alla 1.8.3
  • stringr da 1.5.0 a 1.5.1
  • systemfonts da 1.0.4 a 1.0.5
  • tcltk da 4.3.1 a 4.3.2
  • testat da 3.1.10 a 3.2.1
  • textshaping da 0.3.6 a 0.3.7
  • tidyr da 1.3.0 a 1.3.1
  • cambio di tempo compreso tra 0.2.0 e 0.3.0
  • dataOra da 4022.108 a 4032.109
  • tinytex da 0,45 a 0,49
  • strumenti da 4.3.1 a 4.3.2
  • utf8 da 1.2.3 a 1.2.4
  • utilità dalla versione 4.3.1 alla versione 4.3.2
  • uuid da 1.1-0 a 1.2-0
  • vctrs da 0.6.3 a 0.6.5
  • vroom da 1.6.3 a 1.6.5
  • waldo da 0.5.1 a 0.5.2
  • withr dalla versione 2.5.0 alla versione 3.0.0
  • xfun da 0.39 a 0.41
  • xml2 da 1.3.5 a 1.3.6
  • yaml da 2.3.7 a 2.3.8
  • zip da 2.3.0 a 2.3.1
• Librerie Java aggiornate:
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.15.1 a 2.16.0
  • com.google.flatbuffers.flatbuffers-java da 1.12.0 a 23.5.26
  • com.typesafe.config da 1.2.1 a 1.4.3
  • org.apache.ant.ant da 1.9.16 a 1.10.11
  • org.apache.ant.ant-jsch da 1.9.16 a 1.10.11
  • org.apache.ant.ant-launcher da 1.9.16 a 1.10.11
  • org.apache.arrow.arrow-format da 12.0.1 a 15.0.0
  • org.apache.arrow.arrow-memory-core da 12.0.1 a 15.0.0
  • org.apache.arrow.arrow-memory-netty da 12.0.1 a 15.0.0
  • org.apache.arrow.arrow-vector da 12.0.1 a 15.0.0
  • org.apache.avro.avro da 1.11.2 a 1.11.3
  • org.apache.avro.avro-ipc da 1.11.2 a 1.11.3
  • org.apache.avro.avro-mapred da 1.11.2 a 1.11.3
  • org.apache.logging.log4j.log4j-1.2-api da 2.20.0 a 2.22.1
  • org.apache.logging.log4j.log4j-api da 2.20.0 a 2.22.1
  • org.apache.logging.log4j.log4j-core da 2.20.0 a 2.22.1
  • org.apache.logging.log4j.log4j-slf4j2-impl da 2.20.0 a 2.22.1
  • org.postgresql.postgresql da 42.6.0 a 42.6.1

Apache Spark

Databricks Runtime 15.1 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.3 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-45527] [DBRRM-805][es-1073714] Ripristino di “[SC-151626][core] Usare frazione per eseguire il calcolo delle risorse”
• [SPARK-47102] [DBRRM-803][sc-158253][SQL] Aggiungere il COLLATION_ENABLED flag di configurazione
• [SPARK-46973] [SC-158140][dbrrm-777][SQL] Ignorare la ricerca di tabelle V2 quando una tabella si trova nella cache delle tabelle V1
• [SPARK-46808] [SC-154113][python] Perfezionare le classi di errore in Python con funzione di ordinamento automatico
• [SPARK-47251] [SC-158291][python] Blocca tipi non validi dall'argomento args per il comando sql.
• [SPARK-47251] [SC-158121][python] Blocca tipi non validi dall'argomento per args il sql comando
• [SPARK-47108] [SC-157204][core] Impostare esplicitamente derby.connection.requireAuthentication su false nei CLI
• [SPARK-45599] [SC-157537][core] Usare l'uguaglianza degli oggetti in OpenHashSet
• [SPARK-47099] [SC-157352][sql] Usare ordinalNumber per impostare in modo uniforme il valore di per la classe di paramIndex errore UNEXPECTED_INPUT_TYPE
• [SPARK-46558] [SC-151363][connect] Estrarre una funzione helper per eliminare il codice duplicato recuperato MessageParameters da ErrorParams in GrpcExceptionConverter
• [SPARK-43117] [SC-156177][connect] Rendere ProtoUtils.abbreviate supporto campi ripetuti
• [SPARK-46342] [SC-150283][sql] Sostituisci IllegalStateException con SparkException.internalError in sql
• [SPARK-47123] [SC-157412][core] JDBCRDD non gestisce correttamente gli errori in getQueryOutputSchema
• [SPARK-47189] [SC-157667][sql] Modificare i nomi degli errori di colonna e il testo
• [SPARK-45789] [SC-157101][sql] Supporto DESCRIBE TABLE per le colonne di clustering
• [SPARK-43256] [SC-157699][sql] Rimuovere la classe di errore _LEGACY_ERROR_TEMP_2021
• [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics controlla i tipi di input
• [SPARK-47183] [SC-157660][python] Correzione della classe di errore per sameSemantics
• [SPARK-47179] [SC-157663][sql] Migliorare il messaggio di errore di SparkThrowableSuite per migliorare il debug
• [SPARK-46965] [SC-155791][core] Controlla logType in Utils.getLog
• [SPARK-46832] [SC-156774][sql] Introduzione delle espressioni di Collate e Collation
• [SPARK-46946] [SC-155721][sql] Supporto della trasmissione di più chiavi di filtro in DynamicPruning
• [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][connect] Aggiungere informazioni sul tipo Variant a PySpark
• [SPARK-47101] [SC-157360][sql] Consentire l'uso della virgola nei nomi di colonna di primo livello e eliminare il controllo della definizione del tipo annidato in HiveExternalCatalog.verifyDataSchema
• [SPARK-47173] [SC-157571][ss][UI] Correzione di un errore di digitazioni nella spiegazione dell'interfaccia utente di streaming
• [SPARK-47113] [SC-157348][core] Invertire la logica di correzione dell'endpoint S3A di SPARK-35878
• [SPARK-47130] [SC-157462][core] Usare listStatus per ignorare le informazioni sulla posizione di blocco durante la pulizia dei log dei driver
• [SPARK-43259] [SC-157368][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_2024
• [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec deve inizializzare la proiezione non sicura
• [SPARK-47137] [SC-157463][python][CONNECT] Aggiungere getAll a spark.conf per la parità delle funzionalità con Scala
• [SPARK-46924] [SC-154905][core] Correggi pulsante in Load New nella Master/HistoryServer interfaccia utente del log
• [SPARK-47069] [SC-157370][python][CONNECT] Introduzione spark.profile.show/dump per la profilatura basata su SparkSession
• [SPARK-46812] [SC-157075][sql][PYTHON] Rendere mapInPandas / mapInArrow compatibile con ResourceProfile
• [SPARK-46833] [SC-155866][sql] Regole di confronto - Introduzione a CollationFactory che fornisce regole di confronto e hash per le regole di confronto supportate
• [SPARK-47057] [SC-157036][python] Riabilita il test dati MyPy
• [SPARK-46934] [SC-157084][sql] Ciclo completo di lettura e scrittura per tipi struct con caratteri speciali utilizzando HMS
• [SPARK-46727] [SC-153472][sql] Porta classifyException() nei dialetti JDBC nelle classi di errore
• [SPARK-46964] [SC-155740][sql] Modificare la firma dell'errore di esecuzione della query hllInvalidLgK per accettare un numero intero come 4° argomento
• [SPARK-46949] [SC-155719][sql] Supporto di CHAR/VARCHAR tramite ResolveDefaultColumns
• [SPARK-46972] [SC-155888][sql] Correzione della sostituzione asimmetrica per char/varchar in V2SessionCatalog.createTable
• [SPARK-47014] [SC-156778][python][CONNECT] Implementare metodi dumpPerfProfiles e dumpMemoryProfiles di SparkSession
• [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Supporto della profilatura v2 in group/cogroup applyInPandas/applyInArrow
• [SPARK-47040] [SC-156773][connect] Consenti allo script del server Spark Connect di attendere
• [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Supporto della profilatura v2 nelle Panda UDF aggregate
• [SPARK-47004] [SC-156499][connect] Aggiunti più test a ClientStreamingQuerySuite per aumentare la copertura dei test client Scala
• [SPARK-46994] [SC-156169][python] Ristrutturare PythonWrite per prepararsi a supportare la scrittura in streaming delle origini dati Python
• [SPARK-46979] [SC-156587][ss] Aggiungere il supporto per specificare il codificatore di chiave e di valore separatamente e anche per ogni famiglia di colonne nel provider dello stato di archiviazione RocksDB
• [SPARK-46960] [SC-155940][ss] Test di più flussi di input con l'operatore TransformWithState
• [SPARK-46966] [SC-156112][python] Aggiungere l'API UDTF per il metodo 'analyze' per indicare il subset di colonne della tabella di input da selezionare
• [SPARK-46895] [SC-155950][core] Sostituire Timer con un executor a thread singolo pianificato
• [SPARK-46967] [SC-155815][core][UI] Nascondi Thread Dump e Heap Histogram degli esecutori nell'interfaccia utente di Dead
• [SPARK-46512] [SC-155826][core] Ottimizzare la lettura di shuffle quando si utilizzano sia l'ordinamento sia la combinazione.
• [SPARK-46958] [SC-155942][sql] Aggiungere un fuso orario mancante ai valori predefiniti
• [SPARK-46754] [SC-153830][sql][AVRO] Correzione della risoluzione del codice di compressione nella definizione della tabella avro e nelle opzioni di scrittura
• [SPARK-46728] [SC-154207][python] Controllare correttamente l'installazione di Pandas
• [SPARK-43403] [SC-154216][ui] Assicurarsi che SparkUI precedente in HistoryServer sia stato scollegato prima di caricarne uno nuovo
• [SPARK-39910] [SC-156203][sql] Delegare la qualificazione del percorso al file system durante il globbing del percorso del file DataSource
• [SPARK-47000] [SC-156123] Ripristinare "[SC-156123][core] Usare getTotalMemorySize...
• [SPARK-46819] [SC-154560][core] Spostare categorie e stati di errore in JSON
• [SPARK-46997] [SC-156175][core] Abilita spark.worker.cleanup.enabled per impostazione predefinita
• [SPARK-46865] [SC-156168][ss] Aggiungere il supporto batch per l'operatore TransformWithState
• [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate evitare operazioni non necessarie setField
• [SPARK-46970] [SC-155816][core] Riscrittura OpenHashSet#hasher con pattern matching
• [SPARK-46984] [SC-156024][python] Rimuovere pyspark.copy_func
• [SPARK-47000] [SC-156123][core] Usare getTotalMemorySize in WorkerArguments
• [SPARK-46980] [SC-155914][sql][MINOR] Evitare l'uso di API interne nei test end-to-end del dataframe
• [SPARK-46931] Ripristinare "[SC-155661][ps] Implement {Frame, Series}.to_hdf"
• [SPARK-46618] [SC-153828][sql] Miglioramento dei messaggi di errore per DATA_SOURCE_NOT_FOUND errore
• [SPARK-46849] [SC-154586][sql] Esegui ottimizzatore sui valori predefiniti delle colonne
• [SPARK-46911] [SC-155724][ss] Aggiunta dell'operatore deleteIfExists a StatefulProcessorHandleImpl
• [SPARK-43273] [SQL] Supporto del lz4raw codec di compressione per Parquet
• [SPARK-47002] [SC-156223][python] Restituirà un migliore messaggio di errore se il metodo 'analyze' del campo 'orderBy' dell'UDTF restituisce accidentalmente un elenco di stringhe
• [SPARK-46890] [SC-155802][sql] Correzione del bug di analisi CSV con valori predefiniti di colonne esistenti e potatura delle colonne
• [SPARK-46977] [SC-155892][core] Una richiesta non riuscita per ottenere un token da un NameNode non deve ignorare le richieste di token successive
• [SPARK-46608] [SC-151806][sql] Ripristinare la compatibilità con le versioni precedenti di JdbcDialect.classifyException
• [SPARK-46908] [SC-155702][sql] Supporto della clausola star nella clausola WHERE
• [SPARK-46908] [SC-155702][sql] Supporto della clausola star nella clausola WHERE
• [SPARK-46852] [SC-155665][ss] Rimuovere l'uso del codificatore di chiavi esplicito e passarlo in modo implicito all'operatore per transformWithState
• [SPARK-46864] [SC-155669][ss] Integra StatoV2 arbitrario nel nuovo quadro della classe di errore
• [SPARK-45807] [SC-155706][sql] Restituisci la vista dopo aver chiamato replaceView(..)
• [SPARK-46899] [SC-154651][core] Rimuovere POST le API da MasterWebUI quando spark.ui.killEnabled è false
• [SPARK-46868] [SC-154539][core] Supporto dell'interfaccia utente del log di lavoro Spark
• [SPARK-46931] [SC-155661][ps] Implementare {Frame, Series}.to_hdf
• [SPARK-46940] [SC-155667][core] Rimuovi non usato updateSparkConfigFromProperties e isAbsoluteURI in o.a.s.u.Utils
• [SPARK-46929] [SC-155659][core][CONNECT][ss] Usare ThreadUtils.shutdown per chiudere i pool di thread
• [SPARK-46400] [SC-155658][core][SQL] Quando sono presenti file danneggiati nel repository maven locale, ignorare questa cache e riprovare
• [SPARK-46932] [SC-155655] Pulire gli import in pyspark.pandas.test_*
• [SPARK-46683] [SC-154120] Scrivere un generatore di sottoquery che genera sottoquery permutazioni per aumentare la copertura dei test
• [SPARK-46914] [SC-154776][ui] Abbreviare il nome dell'app nella tabella di riepilogo nella pagina Cronologia
• [SPARK-46831] [SC-154699][sql] Regole di confronto - Estensione di StringType e PhysicalStringType con campo collationId
• [SPARK-46816] [SC-154415][ss] Aggiungere il supporto di base per il nuovo operatore di gestione dello stato arbitrario, il tipo single valueState, più variabili di stato e il supporto sottostante per le famiglie di colonne per RocksDBStateStoreProvider con/senza checkpoint del log delle modifiche
• [SPARK-46925] [SC-154890][python][CONNECT] Aggiungere un avviso che indica di installare memory_profiler per la profilatura della memoria
• [SPARK-46927] [SC-154904][python] Rendere assertDataFrameEqual corretto il funzionamento senza PyArrow
• [SPARK-46021] [SC-148987][core] Supporto per annullare i processi futuri appartenenti a un gruppo di processi
• [SPARK-46747] [SC-154789][sql] Evitare la scansione in getTableExistsQuery nei dialetti JDBC
• [SPARK-46904] [SC-154704][ui] Correzione del problema di visualizzazione del riepilogo dell'interfaccia utente della cronologia
• [SPARK-46870] [SC-154541][core] Supporto dell'interfaccia utente del log master Spark
• [SPARK-46893] [SC-154780][ui] Rimuovere script inline dalle descrizioni dell'interfaccia utente
• [SPARK-46910] [SC-154760][python] Eliminare il requisito JDK nell'installazione di PySpark
• [SPARK-46907] [SC-154736][core] Mostra il percorso del log dei driver nel server della cronologia di Spark
• [SPARK-46902] [SC-154661][ui] Modifica dell'interfaccia utente del server storia di Spark per utilizzare setAppLimit non esportato
• [SPARK-46687] [SC-154725][python][CONNECT] Supporto di base del profiler di memoria basato su SparkSession
• [SPARK-46623] [SC-153831][core][MLLIB][sql] Sostituire SimpleDateFormat con DateTimeFormatter
• [SPARK-46875] [SC-154627][sql] Quando mode è nullo, dovrebbe essere lanciata un'eccezione NullPointException
• [SPARK-46872] [SC-154543][core] Ripristina log-view.js in modo che non sia un modulo
• [SPARK-46883] [SC-154629][core] API di supporto /json/clusterutilization
• [SPARK-46886] [SC-154630][core] Abilita spark.ui.prometheus.enabled per impostazione predefinita
• [SPARK-46873] [SC-154638][ss] Non ricreare il nuovo StreamingQueryManager per la stessa sessione Spark
• [SPARK-46829] [SC-154419][core] Rimuovere createExecutorEnv da SparkEnv
• [SPARK-46827] [SC-154280][core] Permettere RocksDBPersistenceEngine di supportare un collegamento simbolico
• [SPARK-46903] [SC-154662][core] Supporto dell'interfaccia utente del log di Spark History Server
• [SPARK-46874] [SC-154646][python] Rimuovere pyspark.pandas la dipendenza da assertDataFrameEqual
• [SPARK-46889] [SC-154639][core] Impostazione di convalida spark.master.ui.decommission.allow.mode
• [SPARK-46850] [SC-154443][sql] Converti _LEGACY_ERROR_TEMP_2102 in UNSUPPORTED_DATATYPE
• [SPARK-46704] [SC-153323][core][UI] Correggi MasterPage per ordinare correttamente la tabella Running Drivers in base alla colonna Duration
• [SPARK-46796] [SC-154279][ss] Assicurarsi che i file remoti corretti (indicati in metadata.zip) vengano usati nel caricamento della versione di RocksDB
• [SPARK-46888] [SC-154636][core] Correzione Master per rifiutare /workers/kill/ le richieste se la dismissione è disabilitata
• [SPARK-46818] [SC-154422][sql] Migliorare i messaggi di errore per Range con input non piegabili
• [SPARK-46898] [SC-154649][connect] Semplificare la trasformazione della funzione protobuf in Planner
• [SPARK-46828] [SC-154413][sql] Rimuovere l'asserzione non valida della modalità remota per spark sql shell
• [SPARK-46733] [SC-154274][core] Semplificare BlockManager facendo sì che l'operazione di uscita dipenda solo dal thread di interruzione.
• [SPARK-46777] [SC-154016][ss] Eseguire il refactoring StreamingDataSourceV2Relation della struttura catalyst per essere più comparabile con la versione batch
• [SPARK-46515] [SC-151716] Aggiungere la funzione MONTHNAME
• [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion dovrebbe verificare la nullabilità
• [SPARK-46787] [SC-154404][connect] bloomFilter la funzione deve generare un'eccezione AnalysisException per l'input non valido
• [SPARK-46779] [SC-154045][sql] InMemoryRelation Le istanze dello stesso piano memorizzato nella cache devono essere semanticamente equivalenti
• [SPARK-45827] [SC-153973] Non consentire il partizionamento nella colonna Variant
• [SPARK-46797] [SC-154085][core] Rinominare spark.deploy.spreadOut in spark.deploy.spreadOutApps
• [SPARK-46094] [SC-153421] Supporto della profilatura JVM dell'executor
• [SPARK-46746] [SC-153557][sql][AVRO] Allegare l'estensione codec ai file di origine dati Avro
• [SPARK-46698] [SC-153288][core] Sostituire Timer con executor pianificato monothread per ConsoleProgressBar.
• [SPARK-46629] [SC-153835] Correzione per il tipo STRUCT DDL che non rileva il supporto di valori Null e il commento
• [SPARK-46750] [SC-153772][connect][PYTHON] Pulizia del codice delle API dataframe
• [SPARK-46769] [SC-153979][sql] Affinamento dell'inferenza dello schema correlata al timestamp
• [SPARK-46765] [SC-153904][python][CONNECT] Specificare shuffle il tipo di dati di seed
• [SPARK-46579] [SC-151481][sql] Redact JDBC url nei messaggi di errore e nei log
• [SPARK-46686] [SC-153875][python][CONNECT] Supporto di base di SparkSession basato su Python profiler UDF
• [SPARK-46748] Ripristina "[SC-153800][core] Rimuovi *slav**.sh script…"
• [SPARK-46707] [SC-153833][sql] Aggiunto campo Throwable alle espressioni per migliorare il pushdown dei predicati
• [SPARK-46519] [SC-151278][sql] Cancellare le classi di errore inutilizzate dal error-classes.json file
• [SPARK-46677] [SC-153426][sql][CONNECT] Correzione della dataframe["*"] risoluzione
• [SPARK-46317] [SC-150184][python][CONNECT] Allineare i comportamenti minori in SparkSession con copertura completa dei test
• [SPARK-46748] [SC-153800][core] Rimuovere *slav**.sh script
• [SPARK-46663] [SC-153490][python] Disabilitare il profiler di memoria per le pandas UDFs con iteratori
• [SPARK-46410] [SC-150776][sql] Assegnare classi di errore/sottoclassi a JdbcUtils.classifyException
• [SPARK-46277] [SC-150126][python] Convalidare gli URL di avvio con la configurazione impostata
• [SPARK-46612] [SC-153536][sql] Non convertire la stringa di tipo array recuperata dal driver JDBC
• [SPARK-46254] [SC-149788][python] Rimuovere il controllo della versione non aggiornato Python 3.8/3.7
• [SPARK-46490] [SC-151335][sql] Richiedi classi di errore nelle SparkThrowable sottoclassi
• [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Ridurre l'utilizzo dell'heap dei driver riducendo la durata di TaskInfo.accumulables()
• [SPARK-46541] [SC-153109][sql][CONNECT] Correggere il riferimento ambiguo di colonna nell'autojoin
• [SPARK-46381] [SC-150495][sql] Eseguire la migrazione di sottoclassi di AnalysisException alle classi di errore
• [SPARK-46351] [SC-150335][sql] Richiedere una classe di errore in AnalysisException
• [SPARK-46220] [SC-149689][sql] Limitare i set di caratteri in decode()
• [SPARK-46369] [SC-150340][core] Rimuovere dai driver kill il collegamento RELAUNCHING in MasterPage
• [SPARK-46052] [SC-153284][core] Rimuovere la funzione TaskScheduler.killAllTaskAttempts
• [SPARK-46536] [SC-153164][sql] Supportare GROUP BY calendar_interval_type
• [SPARK-46675] [SC-153209][sql] Rimuovere il inferTimestampNTZ non utilizzato da ParquetReadSupport
• [SPARK-46717] [SC-153423][core] Semplificare ReloadingX509TrustManager con l'operazione di uscita dipende solo dal thread di interrupt.
• [SPARK-46722] [SC-153438][connect] Aggiungere un test relativo al controllo della compatibilità con le versioni precedenti per StreamingQueryListener in Spark Connect (Scala/PySpark)
• [SPARK-46187] [SC-149580][sql] Allineare l'implementazione codegen e non-codegen di StringDecode
• [SPARK-46258] [SC-149799][core] Aggiungi RocksDBPersistenceEngine
• [SPARK-46216] [SC-149676][core] Migliorare FileSystemPersistenceEngine per supportare le compressioni
• [SPARK-46189] [SC-149567][ps][SQL] Eseguire confronti e aritmetici tra gli stessi tipi in varie funzioni di aggregazione Pandas per evitare errori in modalità interpretata
• [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Ridurre la profondità dello stack sostituendo Option.isDefined con Option.isEmpty
• [SPARK-46700] [SC-153329][core] Contare l'ultimo overflow per la metrica dei byte di overflow del disco shuffle
• [SPARK-45642] [SC-150286][core][SQL] Correzione FileSystem.isFile & FileSystem.isDirectory is deprecated
• [SPARK-46640] [SC-153272][sql] Correzione di RemoveRedundantAlias escludendo gli attributi della sottoquery
• [SPARK-46681] [SC-153287][core] Rifattorizzare ExecutorFailureTracker#maxNumExecutorFailures per evitare di calcolare defaultMaxNumExecutorFailures quando MAX_EXECUTOR_FAILURES è configurato
• [SPARK-46695] [SC-153289][sql][HIVE] Imposta sempre hive.execution.engine su mr
• [SPARK-46325] [SC-150228][connect] Rimuovere le funzioni di override non necessarie durante la costruzione di WrappedCloseableIterator in ResponseValidator#wrapIterator
• [SPARK-46232] [SC-149699][python] Eseguire la migrazione di tutti i file ValueError rimanenti nel framework di errore PySpark.
• [SPARK-46547] [SC-153174][ss] Ingoiare eccezioni non fatali nell'attività di manutenzione per evitare il deadlock tra il thread di manutenzione e l'operatore di aggregazione di streaming
• [SPARK-46169] [SC-149373][ps] Assegnare i numeri JIRA appropriati per i parametri mancanti dall'API DataFrame .
• [SPARK-45857] [SC-148096][sql] Applicare le classi di errore nelle sottoclassi di AnalysisException

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 15.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.1.0

Librerie di Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot Posit Gestione pacchetti CRAN nel 2023-02-10.

Librerie Java e Scala installate (versione cluster Scala 2.12)