Databricks Runtime 11.3 LTS (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 11.3 LTS, con tecnologia Apache Spark 3.3.0. Databricks ha rilasciato questa versione nell'ottobre 2022.

Modifiche comportamentali

[Modifica di rilievo] La nuova versione Python richiede l'aggiornamento dei client di Python Databricks Connect V1

Per applicare le patch di sicurezza necessarie, la versione Python in Databricks Runtime 11.3 LTS viene aggiornata dalla versione 3.9.5 alla versione 3.9.19. Poiché queste modifiche potrebbero causare errori nei client che usano funzioni PySpark specifiche, tutti i client che usano Databricks Connect V1 per Python con Databricks Runtime 11.3 LTS devono essere aggiornati a Python 3.9.7 o versione successiva.

Miglioramenti e nuove funzionalità

• Python aggiornato dalla versione 3.9.19 alla versione 3.9.21
• Il trigger una volta di Structured Streaming è deprecato
• Modificare il percorso di origine per Il caricatore automatico
• Il connettore Databricks supporta ora la lettura dai flussi di dati Kinesis in modalità EFO
• Nuove funzioni geospaziali H3 e supporto Photon aggiunto per tutte le funzioni H3
• Nuove funzionalità per l'I/O predittivo
• Aumento delle partizioni iniziali da analizzare per le query selettive
• Nuova visualizzazione delle versioni del piano AQE
• Nuove modalità asincrone di rilevamento dello stato di avanzamento e eliminazione dei log
• Structured Streaming nel catalogo Unity supporta ora display()
• Gli eventi della pipeline vengono ora registrati in formato JSON
• Arbitrary Stateful Processing nello streaming strutturato con Python
• Inferenza data nei file CSV
• Il supporto clone per le tabelle Apache Parquet e Apache Iceberg (Anteprima Pubblica)
• Usare SQL per specificare percorsi di archiviazione a livello di schema e catalogo per le tabelle gestite di Unity Catalog

Python aggiornato dalla versione 3.9.19 alla versione 3.9.21

La versione Python in Databricks Runtime 11.3 LTS viene aggiornata dalla versione 3.9.19 alla versione 3.9.21.

Structured Streaming trigger once è obsoleto.

L'impostazione Trigger.Once è stata deprecata. Databricks consiglia di usare Trigger.AvailableNow. Vedere Configurare gli intervalli di trigger del flusso strutturato.

Modificare il percorso di origine per Il caricatore automatico

È ora possibile modificare il percorso di input della directory per Auto Loader configurato con la modalità di elenco delle directory senza scegliere una nuova directory di checkpoint. Vedere Modificare il percorso di origine per Il caricatore automatico.

Il connettore Databricks Oggigiorno supporta ora la lettura dai flussi di dati di Oggigiornos in modalità EFO

È ora possibile usare l'origine di streaming strutturata Databricks Jsons in Databricks Runtime 11.3 LTS per eseguire query che leggono dai flussi di dati di Oggigiornos in modalità fan-out avanzata. In questo modo è possibile una velocità effettiva dedicata per partizione, per consumer e recapito di record in modalità push.

Nuove funzioni geospaziali H3 e supporto Photon aggiunto per tutte le funzioni H3

Introduzione di 4 nuove funzioni H3, h3_maxchild, h3_minchild, h3_pointash3e h3_pointash3string. Queste funzioni sono disponibili in SQL, Scala e Python. Tutte le espressioni H3 sono ora supportate in Photon. Si veda Funzioni geospaziali H3.

Nuove funzionalità per l'I/O predittivo

Photon supporta la modalità di intervallo per l'esecuzione di fotogrammi, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon supporta anche la modalità di intervallo per i fotogrammi in crescita, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Aumento delle partizioni iniziali da analizzare per le query selettive

Il valore delle partizioni iniziali da analizzare è stato aumentato a 10 per le query selettive con take/tail/limit nei cluster abilitati per Photon e LIMIT in Databricks SQL. Con 10 partizioni, è possibile evitare il sovraccarico di avvio di più processi di piccole dimensioni e un aumento delle prestazioni lento. È anche possibile configurare questa operazione tramite spark.sql.limit.selectiveInitialNumPartitions.

Nuova visualizzazione delle versioni del piano AQE

Introduzione alle versioni del piano AQE che consentono di visualizzare gli aggiornamenti del piano di runtime dall'esecuzione di query adattive (AQE).

Nuove modalità asincrone di rilevamento dello stato di avanzamento e eliminazione dei log

Introduzione alle modalità Structured Streaming denominata rilevamento asincrono dello stato di avanzamento e eliminazione asincrona dei log. La modalità di eliminazione asincrona dei log riduce la latenza delle query di streaming rimuovendo i log usati per il rilevamento dello stato in background.

Il flusso di streaming strutturato su Unity Catalog ora supporta display()

È ora possibile usare display() quando si usa Structured Streaming per lavorare con le tabelle registrate in Unity Catalog.

Gli eventi della pipeline vengono ora registrati in formato JSON

Azure Databricks ora scrive gli eventi della pipeline nel log del driver in formato JSON. Anche se ogni evento sarà analizzabile da JSON, gli eventi di grandi dimensioni potrebbero non contenere tutti i campi o i campi potrebbero essere troncati. Ogni evento viene registrato in una singola riga con il prefisso Event received: . Di seguito è riportato un evento di esempio.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Elaborazione con stato arbitrario in Structured Streaming con Python

Introduzione alla funzione applyInPandasWithState che può essere utilizzata per eseguire un'elaborazione di stato arbitraria in PySpark. Equivale alla funzione flatMapGroupsWithState nell'API Java.

Inferenza delle date nei file CSV

Introduzione di un'inferenza migliorata delle colonne di tipo data nei file CSV. Quando il formato della data è coerente tra i record di una colonna, tali colonne possono essere interpretate come DateType. È anche possibile avere una combinazione di formati di data tra colonne diverse. Azure Databricks può dedurre automaticamente il formato della data per ogni colonna. Le colonne di data nei file CSV precedenti a Databricks Runtime 11.3 LTS vengono lasciate come StringType.

Supporto per clonare le tabelle Apache Parquet e Apache Iceberg (anteprima pubblica)

È ora possibile usare clone per creare e aggiornare in modo incrementale le tabelle Delta che esegono il mirroring delle tabelle Apache Parquet e Apache Iceberg. È possibile aggiornare la tabella Parquet di origine e applicare in modo incrementale le modifiche alla tabella Delta clonata con il comando clone. Vedere Clonare in modo incrementale tabelle Parquet e Apache Iceberg in Delta Lake.

Usare SQL per specificare percorsi di archiviazione a livello di schema e catalogo per le tabelle gestite del catalogo Unity

È ora possibile usare il comando SQL MANAGED LOCATION per specificare un percorso di archiviazione cloud per le tabelle gestite a livello di catalogo e schema. Vedere CREATE CATALOG e CREATE SCHEMA.

Modifiche del comportamento

Databricks Connect 11.3.2

L'aggiornamento client di Databricks Connect 11.3.2 è ora supportato. Vedere Databricks Connect e le note sulla versione di Databricks Connect.

Aggiornamento del connettore Snowflake per Azure Databricks

Il connettore Azure Databricks Snowflake è stato aggiornato alla versione più recente del codice dal repository open source, Snowflake Data Source for Apache Spark. È ora completamente compatibile con Databricks Runtime 11.3 LTS, incluso il pushdown del predicato e il pushdown del piano di query interno mantenendo tutte le funzionalità della versione open source.

La cache Hadoop per S3A è ora disabilitata

La cache Hadoop (API Principale 3.3.4 di Apache Hadoop FileSystem) per S3A è ora disabilitata. Questo serve ad allinearsi con altri connettori di archiviazione cloud. Per i carichi di lavoro che si basano sulla memorizzazione nella cache del file system, assicurarsi che i file system appena creati siano forniti con le configurazioni Hadoop corrette, inclusi i provider di credenziali.

Lo schema della raccolta di statistiche Delta Lake corrisponde ora all'ordine delle colonne nella definizione dello schema di tabella

Questa modifica risolve un bug nel protocollo Delta Lake in cui le statistiche non sono state raccolte per le colonne a causa di una mancata corrispondenza nell'ordinamento dei dataframe e delle colonne della tabella. In alcuni casi, è possibile che si verifichi una riduzione delle prestazioni di scrittura a causa della raccolta di statistiche sui campi non registrati in precedenza. Vedere Salto dati.

applyInPandasWithState genera un errore se la query ha una sequenza casuale dopo l'operatore

L'operatore applyInPandasWithState genera un errore se la query ha shuffle dopo l'operatore . Ciò si verifica quando l'utente aggiunge shuffle dopo l'operazione o l'utilità di ottimizzazione o il sink aggiunge shuffle in modo implicito.

Aggiornamenti della libreria

• Librerie di Python aggiornate:
  • distlib da 0.3.5 a 0.3.6
• Librerie R aggiornate:
  • scopa da 1.0.0 a 1.0.1
  • callr dalla versione 3.7.1 alla 3.7.2
  • dplyr da 1.0.9 a 1.0.10
  • dtplyr da 1.2.1 a 1.2.2
  • forcats da 0.5.1 a 0.5.2
  • futuro da 1.27.0 a 1.28.0
  • future.apply dalla versione 1.9.0 alla versione 1.9.1
  • gert da 1.7.0 a 1.8.0
  • globals da 0.16.0 a 0.16.1
  • gtable da 0.3.0 a 0.3.1
  • da 2.5.0 a 2.5.1
  • hms da 1.1.1 a 1.1.2
  • httr da 1.4.3 a 1.4.4
  • knitr da 1.39 a 1.40
  • modelr da 0.1.8 a 0.1.9
  • pilastro da 1.8.0 a 1.8.1
  • aggiornamento di progressr da 0.10.1 a 0.11.0
  • readxl da 1.4.0 a 1.4.1
  • repository da 2.0.1 a 2.0.2
  • rlang da 1.0.4 a 1.0.5
  • rmarkdown da 2.14 a 2.16
  • RSQLite da 2.2.15 a 2.2.16
  • rstudioapi da 0.13 a 0.14
  • versioni da 2.1.1 a 2.1.2
  • rvest versione da 1.0.2 a 1.0.3
  • scala da 1.2.0 a 1.2.1
  • sparklyr da 1.7.7 a 1.7.8
  • stringr da 1.4.0 a 1.4.1
  • sopravvivenza da 3,2-13 a 3,4-0
  • tinytex da 0,40 a 0,41
  • viridisLite da 0.4.0 a 0.4.1
• Librerie Java aggiornate:
  • com.fasterxml.jackson.core.jackson-annotations da 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-core da 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-databind da 2.13.3 a 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer da 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.13.3 a 2.13.4
  • org.apache.hadoop.hadoop-client-api da 3.3.2-databricks a 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime da 3.3.2 a 3.3.4
  • org.apache.orc.orc-core da 1.7.5 a 1.7.6
  • org.apache.orc.orc-mapreduce da 1.7.5 a 1.7.6
  • org.apache.orc.orc-shims da 1.7.5 a 1.7.6
  • org.apache.parquet.parquet-column da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.common da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet-format-structures da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet-jackson da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet da 2.34 a 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core dalla versione 2.34 alla versione 2.36
  • org.glassfish.jersey.core.jersey-client da 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-common da 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-server da 2.34 a 2.36
  • org.glassfish.jersey.inject.jersey-hk2 da 2.34 a 2.36

Apache Spark

Databricks Runtime 11.3 LTS include Apache Spark 3.3.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 11.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Ritarda onDisconnected per consentire al Driver di ricevere ExecutorExitCode
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Migliorare il processo LaunchTask per evitare errori di fase causati da messaggi LaunchTask non riusciti
• [SPARK-40474] [SC-106248][cherry-pick] Correggere il comportamento di inferenza dello schema CSV per le colonne datetime e introdurre il rilevamento automatico per i campi Data
• [SPARK-40535] [SC-111243][sql] Correzione del bug per cui il buffer di AggregatingAccumulator non verrà creato se le righe di input sono vuote
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] ImplementInPandasWithState in PySpark
• [SPARK-40460] [SC-110832][ss] Correzione delle metriche di streaming quando si seleziona _metadata
• [SPARK-40324] [SC-109943][sql] Fornire un contesto di query di ParseException
• [SPARK-40466] [SC-110899][ss] Migliorare il messaggio di errore quando DSv2 è disabilitato mentre DSv1 non è disponibile
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext dovrebbe essere economico da chiamare ripetutamente
• [SPARK-40169] [SC-110772][sql] Non applicare il pushdown dei filtri Parquet senza riferimenti allo schema dei dati
• [SPARK-40467] [SC-110759][ss] Suddividere FlatMapGroupsWithState in più suite di test
• [SPARK-40468] [SC-110813][sql] Correzione dell'eliminazione delle colonne in CSV quando si seleziona _corrupt_record
• [SPARK-40291] [SC-110085][sql] Migliorare il messaggio per la colonna non nel gruppo per errore della clausola
• [SPARK-40398] [SC-110762][core][SQL] Usare il ciclo anziché utilizzare l'API di Arrays.stream
• [SPARK-40433] [SC-110684][ss][PYTHON] Aggiungere toJVMRow in PythonSQLUtils per convertire una riga PySpark serializzata in una riga JVM.
• [SPARK-40414] [SC-110568][sql][PYTHON] Tipo più generico in PythonArrowInput e PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Aggiungere alias di funzione: len, datepart, dateadd, date_diff e curdate
• [SPARK-40470] [SC-110761][sql] Gestire GetArrayStructFields e GetMapValue nella funzione "arrays_zip"
• [SPARK-40387] [SC-110685][sql] Migliorare l'implementazione di Spark Decimal
• [SPARK-40429] [SC-110675][sql] Set KeyGroupedPartitioning solo quando la colonna a cui si fa riferimento si trova nell'output
• [SPARK-40432] [SC-110716][ss][PYTHON] Introdurre GroupStateImpl e GroupStateTimeout in PySpark
• [SPARK-39915] [SC-110496][sql] Assicurarsi che il partizionamento dell'output sia specificato dall'utente in AQE
• [SPARK-29260] [SQL] Supporto ALTER DATABASE SET LOCATION se HMS lo supporta
• [SPARK-40185] [SC-110056][sql] Rimuovere il suggerimento di colonna quando l'elenco dei candidati è vuoto
• [SPARK-40362] [SC-110401][sql] Risoluzione della canonizzazione di BinaryComparison
• [SPARK-40411] [SC-110381][ss] Rifattorizzazione di FlatMapGroupsWithStateExec per avere un'interfaccia padre
• [SPARK-40293] [SC-110084][sql] Rendere il messaggio di errore della tabella V2 più significativo
• [SPARK-38734] [SC-110383][sql] Rimuovere la classe di errore INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Correggere i nomi delle colonne nella funzione "arrays_zip" quando si fa riferimento agli array da struct annidati
• [SPARK-40276] [SC-109674][core] Ridurre le dimensioni del risultato di RDD.takeOrdered (funzione per l'ordinamento)
• [SPARK-40197] [SC-109176][sql] Sostituire il piano di query con il contesto per MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Eseguire la migrazione alla classe di errore DATATYPE_MISMATCH
• [SPARK-40149] [SC-110055][sql] Propagare le colonne di metadati tramite Project
• [SPARK-40280] [SC-110146][sql] Aggiungere il supporto per il push down parquet per int e long annotati
• [SPARK-40220] [SC-110143][sc-109175][SQL] Non restituire la mappa vuota dei parametri del messaggio di errore
• [SPARK-40295] [SC-110070][sql] Consenti funzioni v2 con argomenti testuali nella distribuzione e ordinamento di scrittura
• [SPARK-40156] [SC-109264][sql] url_decode() deve restituire una classe di errore
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator dovrebbe annullare la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività.
• [SPARK-40260] [SC-109424][sql] Usare classi di errore negli errori di compilazione di GROUP BY una posizione
• [SPARK-40205] [SC-110144][sc-109082][SQL] Fornire un contesto di una query di ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Migliorare la funzione TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Non modificare il valore di intervallo decimale in changePrecision() in caso di errori
• [SPARK-40319] [SC-109873][sql] Rimuovere il metodo di errore di esecuzione duplicato della query per PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] Le operazioni numeriche try_add/try_divide/try_subtract/try_multiply devono sollevare errori dai loro sottoelementi.
• [SPARK-40183] [SC-108907][sql] Utilizzare la classe di errore NUMERIC_VALUE_OUT_OF_RANGE per l'overflow nella conversione decimale
• [SPARK-40180] [SC-109069][sql] Formattare i messaggi di errore per spark-sql
• [SPARK-40153] [SC-109165][sql] Unifica le funzioni di risoluzione e le funzioni che restituiscono tabelle
• [SPARK-40308] [SC-109880][sql] Consenti argomenti delimitatori non piegabili per str_to_map funzione
• [SPARK-40219] [SC-110052][sc-109663][SQL] Il piano logico di visualizzazione risolto deve contenere lo schema per evitare ricerche ridondanti
• [SPARK-40098] [SC-109939][sc-108693][SQL] Formattare i messaggi di errore nel server Thrift
• [SPARK-39917] [SC-109038][sql] Usare classi di errore diverse per l'overflow aritmetico di numeri/intervalli
• [SPARK-40033] [SC-109875][sql] Supporto per l'eliminazione annidata dello schema tramite element_at
• [SPARK-40194] [SC-109660][sql] Funzione SPLIT su regex vuota deve troncare la stringa vuota finale.
• [SPARK-40228] [SC-109835][sql] Non semplificare multiLike se figlio non è un'espressione economica
• [SPARK-40039] [SC-109896][sc-109260][SS] Introduzione di una gestione file di checkpoint di streaming basata sull'interfaccia Abortable di Hadoop
• [SPARK-40285] [SC-109679][sql] Semplificare le roundTo[Numeric] per Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison dovrebbe funzionare quando il valore letterale del downcast In/InSet non è riuscito
• [SPARK-40040] [SC-109662][sql] Applicare il limite locale su entrambi i lati se la condizione di join è vuota
• [SPARK-40055] [SC-109075][sql] listCatalogs dovrebbe restituire anche spark_catalog, anche quando l'implementazione di spark_catalog è defaultSessionCatalog.
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) potrebbe non creare N partizioni nella parte non AQE
• [SPARK-40207] [SC-109401][sql] Specificare il nome della colonna quando il tipo di dati non è supportato dall'origine dati
• [SPARK-40245] [SC-109295][sql] Correzione del controllo di uguaglianza fileScan quando le colonne del filtro dati o della partizione non vengono lette
• [SPARK-40113] [SC-109405][sql] Implementazioni dell'interfaccia DataSourceV2 di Reactor ParquetScanBuilder
• [SPARK-40211] [SC-109226][core][SQL] Consenti la personalizzazione del numero di partizioni iniziali nel comportamento take()
• [SPARK-40252] [SC-109379][sql] Sostituire Stream.collect(Collectors.joining) con StringJoiner API
• [SPARK-40247] [SC-109272][sql] Correzione del controllo di uguaglianza BitSet
• [SPARK-40067] [SQL] Usare Table#name() anziché Scan#name() per popolare il nome della tabella nel nodo BatchScan in SparkUI
• [SPARK-39966] [SQL] Usare il filtro V2 in SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Distribuzione e ordinamento supportano la funzione V2 nella scrittura
• [SPARK-40224] [SC-109271][sql] Rilasciare la memoria di ObjectHashAggregateExec prontamente quando si passa al fallback basato sull'ordinamento.
• [SPARK-40013] [SQL] Le espressioni DS V2 devono avere l'impostazione predefinita toString
• [SPARK-40214] [SC-109079][python][SQL] aggiungere 'get' alle funzioni
• [SPARK-40192] [SC-109089][sql][ML] Rimuovere il groupby ridondante
• [SPARK-40146] [SC-108694][sql] Semplificare la generazione di codice per ottenere il valore di una mappa
• [SPARK-40109] [SQL] Nuova funzione SQL: get()
• [SPARK-39929] [SQL] DS V2 supporta funzioni stringa push-down (non ANSI)
• [SPARK-39819] [SQL] Il push verso il basso dell'aggregazione DS V2 può essere eseguito con top N o paging (ordinamento con espressioni)
• [SPARK-40213] [SC-109077][sql] Supporto della conversione dei valori ASCII per i caratteri Latin-1
• [SPARK-39887] [SQL] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
• [SPARK-39764] [SQL] Rendere PhysicalOperation uguale a ScanOperation
• [SPARK-39964] [SQL] Il pushdown di DS V2 deve unificare il percorso di traduzione
• [SPARK-39528] [SQL] Utilizzare il filtro V2 nel SupportsRuntimeFiltering
• [SPARK-40066] [SQL] modalità ANSI: restituisce sempre Null in caso di accesso non valido alla colonna di mapping
• [SPARK-39912] [SPARK-39828][sql] Perfezionare CatalogImpl
• [SPARK-39833] [SC-108736][sql] Disabilitare l'indice di colonna Parquet in DSv1 per risolvere un problema di correttezza nel caso di colonne di dati e partizione sovrapposte
• [SPARK-39880] [SQL] V2 SHOW FUNCTIONS comando deve stampare il nome di funzione qualificato come v1
• [SPARK-39767] [SQL] Rimuovere UnresolvedDBObjectName e aggiungere UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(mappa)
• [SPARK-40136] [SQL] Correggere il frammento di contesti SQL della query
• [SPARK-40107] [SC-108689][sql] Estrarre la conversione da vuoto a nullo da FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Inizializzare la proiezione usata per la funzione UDF Python
• [SPARK-40128] [SQL] Rendere vectorizedColumnReader riconoscere DELTA_LENGTH_BYTE_ARRAY come codifica di colonna autonoma
• [SPARK-40132] [ML] Ripristinare rawPredictionCol in MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Migliorare EliminateSorts per supportare la rimozione degli ordinamenti tramite LocalLimit
• [SPARK-39629] [SQL] Supporto v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Aggiungere overload array_sort(column, comparator) alle operazioni del DataFrame
• [SPARK-40117] [PYTHON][sql] Convertire la condizione in Java in DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Migliorare la ripartizione in ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Aggiungere il nome del catalogo sessione per la tabella e la funzione del database v1
• [SPARK-39889] [SQL] Usare classi di errore diverse per l'intervallo/numerico diviso per 0
• [SPARK-39741] [SQL] Supportare la codifica/decodifica dell'URL come funzione predefinita e riordinare le funzioni correlate all'URL
• [SPARK-40102] [SQL] Usare SparkException anziché IllegalStateException in SparkPlan
• [SPARK-40014] [SQL] Supporto per il cast di decimali in intervalli ANSI
• [SPARK-39776] [SQL][follow] Aggiornamento UT di PlanStabilitySuite in modalità ANSI
• [SPARK-39963] [SQL] Semplificare SimplifyCasts.isWiderCast

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 11.3.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.5 LTS
  • Nota: questa è la versione ubuntu usata dai contenitori di Databricks Runtime. I contenitori di Databricks Runtime vengono eseguiti nelle macchine virtuali del provider di servizi cloud, che potrebbero usare una versione ubuntu diversa o una distribuzione Linux diversa.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.21
• R: 4.1.3
• Delta Lake: 2.1.0

Librerie di Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot Microsoft CRAN nel 2022-09-08. Lo snapshot non è più disponibile.

Librerie Java e Scala installate (versione cluster Scala 2.12)