Databricks Runtime 16.2 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 16.2, basate su Apache Spark 3.5.2.

Databricks ha rilasciato questa versione nel mese di febbraio 2025.

Modifiche comportamentali

ANALIZZA ora ignora le colonne con tipi non supportati

ANALYZE TABLE non genera più un messaggio di errore quando viene eseguito in una tabella con tipi non supportati, ad esempio ARRAY o MAP. Le colonne non supportate vengono ora ignorate automaticamente. Gli utenti che hanno implementato la logica che prevede questi errori devono aggiornare il codice.

In Condivisione Delta la cronologia delle tabelle è abilitata per impostazione predefinita

Le condivisioni create con il comando SQL ALTER SHARE <share> ADD TABLE <table> ora hanno la condivisione della cronologia (WITH HISTORY) abilitata per impostazione predefinita. Vedere ALTER SHARE.

Le istruzioni SQL delle credenziali restituiscono un errore quando si verifica una mancata corrispondenza del tipo di credenziale

Con questa versione, se il tipo di credenziale specificato in un'istruzione SQL di gestione delle credenziali non corrisponde al tipo dell'argomento delle credenziali, viene restituito un errore e l'istruzione non viene eseguita. Ad esempio, per l'istruzione DROP STORAGE CREDENTIAL 'credential-name', se credential-name non è una credenziale di archiviazione, l'istruzione ha esito negativo con un errore.

Questa modifica viene apportata per evitare errori utente. In precedenza, queste istruzioni venivano eseguite correttamente, anche se è stata passata una credenziale che non corrisponde al tipo di credenziale specificato. Ad esempio, l'istruzione seguente elimina correttamente storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Questa modifica influisce sulle dichiarazioni seguenti:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT… SU... CREDENZIALI
• REVOKE… SU... CREDENZIALI
• SHOW GRANTS SU... CREDENZIALE

Nuove funzionalità e miglioramenti

• Creare applicazioni con stato personalizzate con transformWithState
• Eseguire l'autenticazione nell'archiviazione di oggetti cloud con le credenziali del servizio
• L'accesso regolamentato dal Catalogo Unity ai servizi cloud esterni, che usano le credenziali del servizio, è ora disponibile in versione generale
• I notebook sono supportati come file dell'area di lavoro
• Usare le timestampdiff espressioni di colonna e timestampadd nelle espressioni di colonna generate
• Supporto per la sintassi della pipeline SQL
• Effettuare una richiesta HTTP usando la http_request funzione
• Aggiornamento per DESCRIBE TABLE restituisce i metadati come JSON strutturato
• Regole di confronto senza distinzione finale senza distinzione
• Convertire tabelle Apache Iceberg con partizionamento di bucket in tabelle Delta non partizionate
• Il calcolo della modalità di accesso standard (in precedenza modalità di accesso condiviso) supporta ora i metodi foreachSpark Scala , foreachBatche flatMapGroupsWithState

Creare applicazioni con stato personalizzate con transformWithState

È ora possibile usare transformWithState e le API correlate per implementare applicazioni con stato personalizzate come parte delle query structured streaming. Vedi Crea un'applicazione personalizzata con stato.

Eseguire l'autenticazione nell'archiviazione di oggetti cloud con le credenziali del servizio

È ora possibile usare le credenziali del servizio Databricks per eseguire l'autenticazione nell'archiviazione di oggetti cloud con il caricatore automatico. Consultare Configurare i flussi del caricatore automatico in modalità di notifica del file.

L'accesso regolamentato dal catalogo unity ai servizi cloud esterni che usano le credenziali del servizio è ora disponibile a livello generale

Le credenziali del servizio consentono l'autenticazione semplice e sicura con i servizi del tenant cloud da Azure Databricks. Con Databricks Runtime 16.2, le credenziali del servizio sono disponibili a livello generale e ora supportano gli SDK Scala, oltre all'SDK di Python supportato nell'anteprima pubblica. Vedere Creare le credenziali del servizio.

I notebook sono accettati in quanto file dell'area di lavoro

In Databricks Runtime 16.2 e versioni successive i notebook sono supportati come file dell'area di lavoro. È ora possibile interagire a livello di codice con i notebook da qualsiasi posizione in cui è disponibile il file system dell'area di lavoro, tra cui la scrittura, la lettura e l'eliminazione di notebook come qualsiasi altro file. Per altre informazioni, vedere Creare, aggiornare ed eliminare file ed directory a livello di codice.

Usare la timestampdiff & timestampadd nelle espressioni di colonna generate

In Databricks Runtime 16.2 e versioni successive è possibile usare le funzioni timestampdiff e timestampadd nelle espressioni di colonne generate in Delta Lake. Vedere colonne generate da Delta Lake.

Supporto per la sintassi della pipeline SQL

In Databricks Runtime 16.2 e versioni successive è possibile comporre pipeline SQL. Una pipeline SQL struttura una query standard, ad esempio SELECT c2 FROM T WHERE c1 = 5, in una sequenza dettagliata, come illustrato nell'esempio seguente:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Per informazioni sulla sintassi supportata per le pipeline SQL, vedere Sintassi delle pipeline SQL.

Per informazioni generali su questa estensione tra settori, vedere SQL presenta problemi. Possiamo correggerli: sintassi pipe in SQL (di Google Research).

Effettuare una richiesta HTTP usando la http_request funzione

In Databricks Runtime 16.2 e versioni successive è possibile creare connessioni HTTP e tramite di esse effettuare richieste HTTP usando la funzione http_request .

L'aggiornamento a DESCRIBE TABLE restituisce i metadati come JSON strutturato

In Databricks Runtime 16.2 e versioni successive è possibile usare il comando DESCRIBE TABLE AS JSON per restituire i metadati della tabella come documento JSON. L'output JSON è più strutturato del report leggibile predefinito e può essere usato per interpretare lo schema di una tabella a livello di codice. Per altre informazioni, vedere DESCRIBE TABLE AS JSON.

Collazioni insensibili agli spazi finali

Databricks Runtime 16.2 aggiunge il supporto per le regole di confronto insensibili agli spazi finali, ampliando il supporto per le regole di confronto aggiunto in Databricks Runtime 16.1. Ad esempio, queste regole di confronto considerano 'Hello' e 'Hello ' come uguali. Per altre informazioni, vedere regole di confronto RTRIM.

Convertire tabelle Apache Iceberg con partizionamento di bucket in tabelle Delta non partizionate

Le istruzioni CONVERT TO DELTA e CREATE TABLE CLONE ora supportano la conversione di una tabella Apache Iceberg con partizionamento per bucket in una tabella Delta non partizionata.

Il calcolo della modalità di accesso standard (in precedenza modalità di accesso condiviso) supporta ora i metodi foreachSpark Scala , foreachBatche flatMapGroupsWithState

In Databricks Runtime 16.2 e versioni successive, il calcolo della modalità di accesso standard supporta ora i metodi DataStreamWriter.foreachBatch Scala e KeyValueGroupedDataset.flatMapGroupsWithState. In Databricks Runtime 16.1 e versioni successive, il calcolo della modalità di accesso standard supporta ora il metodo DataStreamWriter.foreachScala .

Correzioni di bug

Miglioramento dell'elaborazione incrementale dei cloni

Questa versione include una correzione per un caso perimetrale in cui un CLONE incrementale potrebbe copiare nuovamente i file già copiati da una tabella di origine a una tabella di destinazione. Consulta Clonare una tabella su Azure Databricks.

Aggiornamenti della libreria

• Librerie di Python aggiornate:
• Librerie R aggiornate:
• Librerie Java aggiornate:
  • org.json4s.json4s-ast_2.12 da 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-core_2.12 da 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-jackson_2.12 da 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-scalap_2.12 da 3.7.0-M11 a 4.0.7

Apache Spark

Databricks Runtime 16.2 include Apache Spark 3.5.2. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 16.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-49966] Ripristinare "[SC-179501][sql] Usare Invoke per implementare JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Correzione nell'esecuzione di query del gestore di espressioni di confronto
• [SPARK-49666] [SQL] Abilitare i test di taglio per l'espressione InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Modificare la firma di TimestampAdd expression
• [SPARK-50795] [16.x][sc-186719][SQL] Archiviare il timestamp come long tipo in describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Aggiungere il fuso orario durante il cast al timestamp in V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Errore in ExecuteResponseObserver genera richieste di ricollegamento infinite
• [SPARK-50522] [SC-186500][sql] Supporto per collazione indeterminata
• [SPARK-50525] [SC-186058][sql] Definire la Regola di Ottimizzazione InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Le espressioni comuni duplicate in diverse clausole With dovrebbero essere proiettate solo una volta
• [SPARK-50847] [SC-186916] [SQL] Negare l'applicazione di ApplyCharTypePadding su specifiche espressioni In
• [SPARK-50714] [SC-186786][sql][SS] Abilitare l'evoluzione dello schema per TransformWithState quando viene usata la codifica Avro
• [SPARK-50795] [SC-186390][sql] Visualizzare tutte le DESCRIBE AS JSON date nel formato ISO-8601 e i tipi come dataType.simpleString
• [SPARK-50561] [SC-185924][sql] Databricks Runtime 16.x cherrypick: Migliorare la coercizione dei tipi e il controllo dei limiti per la funzione UNIFORM SQL
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog supporta builtin il valore magico
• [SPARK-50831] [SC-186736][sql] Abilitare il trimming delle collazioni per impostazione predefinita
• [SPARK-50263] [SC-186793][connect] Sostituire System.currentTimeMillis con System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementa CreateSQLFunctionCommand per funzioni scalari e tabelle SQL
• [SPARK-50830] [SC-186718] [SQL] Restituire un risultato di passaggio singolo come risultato dell'analisi a doppio passaggio
• [SPARK-50707] [SC-186098][sql] Abilitare il cast da/a char/varchar
• [SPARK-49490] [SC-182137][sql] Aggiungere benchmark per initCap
• [SPARK-50529] [SC-184535][sql] Modificare il comportamento char/varchar nella spark.sql.preserveCharVarcharTypeInfo configurazione
• [SPARK-49632] [SC-184179][sql] Rimuovere il suggerimento di configurazione ANSI in CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Correzione del bug in cui il passaggio di varianti Null in createDataFrame causa l'esito negativo e l'aggiunta del supporto Variant in createDataFrame in Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Sconsigliare l'uso di pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Impostare come analizzato in caso di fallimento dell'analisi
• [SPARK-50824] [SC-186472][python] Evitare di importare pacchetti di Python facoltativi per il controllo
• [SPARK-50755] [SC-185521][sql] Visualizzazione del piano elegante per InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Gli input per le aggregazioni tipizzate devono essere analizzati
• [SPARK-50791] [SC-185867][sc-186338][SQL] Risoluzione del NPE nella gestione degli errori di State Store
• [SPARK-50801] [SC-186365] [SQL] Migliorare PlanLogger.logPlanResolution in modo da visualizzare solo piani non risolti e risolti
• [SPARK-50749] [SC-185925][sql] Correzione del bug di ordinamento nel metodo CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Canonicalizzare il nome del file e il layout del profiler JVM su DFS
• [SPARK-50790] [SC-186354][python] Implementare l'analisi json in pyspark
• [SPARK-50738] [SC-184856][python] Aggiorna black a 23.12.1
• [SPARK-50764] [SC-185930][python] Perfezionare la documentazione dei metodi correlati a xpath
• [SPARK-50798] [SC-186277][sql] Migliorare NormalizePlan
• [SPARK-49883] [SC-183787][ss] Integrazione della struttura del checkpoint dell'archivio stati V2 con RocksDB e RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Aggiunta del flag di funzionalità per le regole di confronto a livello di oggetto
• [SPARK-50778] [SC-186183][python] Aggiungi metadataColumn al PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: Migliorare gli alias di espressione generati automaticamente con operatori SQL pipe
• [SPARK-50541] [16.x][sc-184937] Descrivere la tabella come JSON
• [SPARK-50772] [SC-185923][sql] Cherrypick di Databricks Runtime 16.x: Conservare gli alias delle tabelle dopo gli operatori SET, EXTEND, DROP
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
• [SPARK-49025] [SC-174667] Sincronizza differenze del codice Delta nel Databricks Runtime
• [SPARK-50752] [SC-185547][python][SQL] Introdurre configurazioni per l'ottimizzazione Python funzione definita dall'utente senza freccia
• [SPARK-50705] [SC-185944][sql] Rendere QueryPlan senza blocchi
• [SPARK-50690] [16.x][sc-184640][SQL] Correzione della discrepanza nella DESCRIBE TABLE visualizzazione delle colonne di output delle query tra virgolette
• [SPARK-50746] [SC-184932][sql] Sostituire con VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder imposta le configurazioni in batch
• [SPARK-50480] [SC-183359][sql] Estendere CharType e VarcharType da StringType
• [SPARK-50675] [SC-184539][sql] Supporto delle regole di confronto a livello di tabella e visualizzazione
• [SPARK-50409] [SC-184516][sql] Correggere l'istruzione set per ignorare ; alla fine di SET;, SET -v; e SET key;
• [SPARK-50743] [SC-185528][sql] Normalizzare gli ID di CTERelationDef e CTERelationRef
• [SPARK-50693] [SC-184684][connect] Gli input per TypedScalaUdf devono essere analizzati
• [SPARK-50744] [SC-184929][sql] Aggiungere un test case per la precedenza di risoluzione dei nomi view/CTE
• [SPARK-50710] [SC-184767][connect] Aggiungere il supporto per la riconnessione client facoltativa alle sessioni dopo il rilascio
• [SPARK-50703] [SC-184843][python] Perfezionare la docstring di regexp_replace, regexp_substr e regexp_instr
• [SPARK-50716] [SC-184823][core] Correggere la logica di pulizia per i collegamenti simbolici nel JavaUtils.deleteRecursivelyUsingJavaIO metodo
• [SPARK-50630] [SC-184443][sql] Correzione GROUP BY del supporto ordinale per gli operatori SQL AGGREGATE pipe
• [SPARK-50614] [SC-184729][sql] Aggiungi il supporto per il disassemblaggio delle varianti per Parquet
• [SPARK-50661] [SASP-4936] Aggiungere la compatibilità con le versioni precedenti del client FEB.
• [SPARK-50676] [SC-184641][sql] Rimuovi non usato private lazy val mapValueContainsNull da ElementAt
• [SPARK-50515] [SC-183813][core] Aggiungere un'interfaccia di sola lettura a SparkConf
• [SPARK-50697] [SC-184702][sql] Abilitare la ricorsione di coda laddove possibile
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Correggi lo schema di stato per FlatMapGroupsWithState in Spark Connect quando non esiste uno stato iniziale.
• [SPARK-50701] [SC-184704][python] Rendere il tracciamento compatibile con la versione minima di Plotly.
• [SPARK-50702] [SC-184727][python] Perfezionare il docstring di regexp_count, regexp_extract e regexp_extract_all
• [SPARK-50499] [SC-184177][python] Esporre le metriche di BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Aggiungere il supporto per il pushdown RPAD
• [SPARK-50682] [SC-184579][sql] L'alias interno deve essere canonizzato
• [SPARK-50699] [SC-184695][python] Analizzare e generare una stringa DDL con una sessione specificata
• [SPARK-50573] [SC-184568][ss] Aggiunta dell'ID dello schema di stato alle righe di stato per l'evoluzione dello schema
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Correzione dell'implementazione Spark Connect Scala foreachBatch. per supportare Dataset[T].
• [SPARK-50689] [SC-184591][sql] Applicare l'ordinamento deterministico negli elenchi di progetti LCA
• [SPARK-50696] [SC-184667][python] Ottimizzare la chiamata Py4J per il metodo di analisi DDL
• [SPARK-49670] [SC-182902][sql] Abilitare la collazione trim per tutte le espressioni passthrough
• [SPARK-50673] [SC-184565][ml] Evitare di attraversare i coefficienti del modello due volte nel Word2VecModel costruttore
• [SPARK-50687] [SC-184588][python] Ottimizzare la logica per ottenere le analisi dello stack per DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Memorizzare nella cache lo schema analizzato per MapInXXX e ApplyInXXX
• [SPARK-50674] [SC-184589][python] Correzione dell'esistenza del metodo 'terminate' nella valutazione UDTF
• [SPARK-50684] [SC-184582][python] Migliorare le prestazioni di Py4J in DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Aggiungere supporto per la nuova versione dei metadati dello stato per TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Correzione della trasposizione per visualizzare un messaggio di errore corretto quando vengono specificate colonne di indice non valide
• [SPARK-50650] [SC-184532][sql] Migliorare il logging nell'Analizzatore a passaggio singolo
• [SPARK-50665] [SC-184533][sql] Sostituire LocalRelation con ComparableLocalRelation in NormalizePlan
• [SPARK-50644] [SC-184486][sql] Leggere strutture varianti nel lettore Parquet.
• [SPARK-49636] [SC-184089][sql] Rimuovere il suggerimento di configurazione ANSI in INVALID_ARRAY_INDEX e INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Rifattorizzare il calcolo dell'output di Union per poterlo riutilizzare nell'analizzatore a singolo passaggio
• [SPARK-50659] [SC-184512][sql] Spostare gli errori correlati all'Unione in QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Correzione del calcolo del contesto di tipo stringa implicito non valido
• [SPARK-50546] [SC-183807][sql] Aggiungere il supporto del cast di sottoquery alla coercizione dei tipi di regole di confronto
• [SPARK-50405] [SC-182889][sql] Gestire correttamente la coercizione dei tipi di regole di confronto di tipi di dati complessi
• [SPARK-50637] [SC-184434][sql] Correzione dello stile di codice per l'analizzatore a pass singolo
• [SPARK-50638] [SC-184435][sql] Effettuare il refactoring della risoluzione della visualizzazione nel file separato per riutilizzarlo nell'analizzatore a passaggio singolo
• [SPARK-50615] [SC-184298][sql] Spingere la variante nella scansione.
• [SPARK-50619] [SC-184210][sql] Refactor VariantGet.cast per impacchettare gli argomenti di cast
• [SPARK-50599] [SC-184058][sql] Creare il tratto DataEncoder che consente la codifica Avro e UnsafeRow
• [SPARK-50076] [SC-183809] Correzione delle chiavi di log
• [SPARK-50597] [SC-183972][sql] Refactoring della costruzione batch in Optimizer.scala e SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Abilitare il log delle modifiche per archiviare le informazioni di derivazione
• [SPARK-50526] [SC-183811][ss] Aggiungere il formato di codifica di archiviazione nel registro degli offset e bloccare gli operatori stateful non supportati dall'uso di avro
• [SPARK-50540] [SC-183810][python][SS] Correzione dello schema stringa per StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Uso di SQLConf fornito prima da SparkSession.
• [SPARK-48898] [SC-183793][sql] Impostare correttamente i valori Null nello schema Variant
• [SPARK-50559] [SC-183814][sql] Memorizza i risultati di Tranne, Interseca e Unione come valori ritardati
• [SPARK-48416] [SC-183643][sql] Supporto per espressioni "With" correlate e annidate
• [SPARK-50428] [SC-183566][ss][PYTHON] Supporto di TransformWithStateInPandas nelle query batch
• [SPARK-50063] [SC-183350][sql][CONNECT] Aggiungere il supporto per Variant nel client Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implementa StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Correzione degli errori di compilazione Maven introdotti dalla cache Guava in RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Correzione del bug in cui i blocchi BEGIN END vuoti generano un errore
• [SPARK-50536] [SC-183443][core] Registrare le dimensioni dei file di archivio scaricati in SparkContext e Executor
• [SPARK-45891] [SC-183439][sql] Ricostruire il binario variante da dati frammentati.
• [SPARK-49565] [SC-183465][sql] Aggiungere la sintassi della pipe SQL per l'operatore FROM
• [SPARK-50497] [SC-183338][sql] Eseguire query con un messaggio corretto se MultiAlias contiene una funzione non generatore
• [SPARK-50460] [SC-183375][python][CONNECT] Generalizzare e semplificare la gestione delle eccezioni Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Correzione dell'opzione di compressione sovrascritta in df.write.parquet
• [SPARK-50329] [SC-183358][sql] correggere InSet$toString
• [SPARK-50524] [SC-183364][sql] Messaggio di avviso inferiore RowBasedKeyValueBatch.spill al livello di debug
• [SPARK-50528] [SC-183385][connect] Passare InvalidCommandInput al modulo comune
• [SPARK-50017] [SC-182438][ss] Supporta la codifica Avro per l'operatore TransformWithState
• [SPARK-50463] [SC-182833][sql] Correzione ConstantColumnVector della conversione da columnar a riga
• [SPARK-50235] [SC-180786][sql] Pulire la risorsa ColumnVector dopo l'elaborazione di tutte le righe in ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Correggere il test relativo allo stato di inizializzazione per utilizzare StreamManualClock
• [SPARK-50478] [SC-183188][sql] Correzione della corrispondenza StringType
• [SPARK-50492] [SC-183177][ss] Correzione di java.util.NoSuchElementException quando la colonna dell'ora dell'evento viene eliminata dopo dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Aggiungere la sintassi della pipe SQL per l'operatore SET
• [SPARK-50449] [SC-183178][sql] Correzione della grammatica di scripting SQL che consente corpi vuoti per cicli, IF e CASE
• [SPARK-50251] [SC-180970][python] Aggiungere getSystemProperty a PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Correzione errata della configurazione della memoria correlata all'executor quando funzionano più profili di risorsa
• [SPARK-49461] [SC-179572][ss] ID checkpoint persistente per il commit dei log e leggerli nuovamente
• [SPARK-50343] [SC-183119][spark-50344][SQL] Aggiungere la sintassi della pipe SQL per gli operatori DROP e AS
• [SPARK-50481] [SC-182880][core] Miglioramento SortShuffleManager.unregisterShuffle per ignorare la logica del file checksum se il checksum è disabilitato
• [SPARK-50498] [SC-183090][python] Evitare chiamate py4j non necessarie in listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Correzione del self-join dopo applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Correzione push-down XOR per Postgres

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 16.2.

Ambiente di sistema

• Sistema operativo: Ubuntu 24.04.1 LTS
  • Nota: questa è la versione ubuntu usata dai contenitori di Databricks Runtime. I contenitori di Databricks Runtime vengono eseguiti nelle macchine virtuali del provider di servizi cloud, che potrebbero usare una versione ubuntu diversa o una distribuzione Linux diversa.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Librerie di Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Posit Gestione pacchetti CRAN nel 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Librerie Java e Scala installate (versione cluster Scala 2.12)