Databricks Runtime 10.4 LTS (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.4 e Databricks Runtime 10.4 Photon, con tecnologia Apache Spark 3.2.1. Photon è disponibile in anteprima pubblica. Databricks ha rilasciato questa versione a marzo 2022.

Miglioramenti e nuove funzionalità

• Convertitore di tabelle da Apache Iceberg a Delta (anteprima pubblica)
• La compattazione automatica con rollback è ora abilitata per impostazione predefinita
• La modalità Low Shuffle Merge è ora abilitata per impostazione predefinita
• I tag degli ordini di inserimento vengono ora mantenuti per UPDATEs e DELETEs
• HikariCP è ora il pool di connessioni metastore Hive predefinito
• Azure Synapse connettore consente ora di impostare il numero massimo di righe di rifiuto consentite
• Il checkpoint dello stato asincrono è ora disponibile a livello generale
• È ora possibile specificare le impostazioni predefinite dei parametri per le funzioni definite dall'utente SQL
• Nuove funzioni SPARK SQL
• Nuova directory di lavoro per i cluster a concorrenza elevata
• Il supporto per le colonne Identity nelle tabelle Delta è ora generalmente disponibile

Convertitore di tabelle da Apache Iceberg a Delta (anteprima pubblica)

La funzione di conversione in Delta ora offre la possibilità di convertire direttamente una tabella Apache Iceberg in una tabella Delta. A tale scopo, usare i metadati nativi di Iceberg e i manifesti dei file. Vedere Converti in Delta Lake.

I rollback di compattazione automatica sono ora abilitati per impostazione predefinita

Questa versione migliora il comportamento delle scritture Delta Lake che eseguono il commit quando sono presenti transazioni simultanee di compattazione automatica. Prima di questa versione, tali scritture spesso venivano interrotte a causa di modifiche simultanee a una tabella. Le scritture avranno ora esito positivo anche se sono presenti transazioni simultanee di Auto Compaction.

Low Shuffle Merge è ora abilitato per impostazione predefinita

Il comando MERGE INTO ora utilizza sempre la nuova implementazione low-shuffle. Questo comportamento migliora significativamente le prestazioni del comando per la MERGE INTO maggior parte dei carichi di lavoro. L'impostazione di configurazione usata in precedenza per abilitare questa funzionalità è stata rimossa. Vedere Low shuffle merge on Azure Databricks.

I tag degli ordini di inserimento vengono ora mantenuti per UPDATEs e DELETEs

I UPDATE comandi e DELETE ora conservano le informazioni di clustering esistenti (incluso l'ordinamento Z) per i file aggiornati o eliminati. Questo comportamento è un approccio ottimale e questo approccio non si applica ai casi in cui i file sono così piccoli che questi file vengono combinati durante l'aggiornamento o l'eliminazione.

HikariCP è ora il pool di connessioni metastore Hive predefinito

HikariCP offre molti miglioramenti della stabilità per l'accesso al metastore Hive mantenendo al tempo stesso un minor numero di connessioni rispetto all'implementazione precedente del pool di connessioni BoneCP. HikariCP è abilitato per impostazione predefinita in tutti i cluster di Databricks Runtime che utilizzano il metastore Hive di Databricks, ad esempio quando spark.sql.hive.metastore.jars non è impostato. È anche possibile passare in modo esplicito ad altre implementazioni del pool di connessioni, ad esempio BoneCP, impostando spark.databricks.hive.metastore.client.pool.type.

Azure Synapse connettore consente ora di impostare il numero massimo di righe di rifiuto consentite

Il connettore Azure Synapse supporta ora un'opzione dataframe maxErrors. Questo aggiornamento consente di configurare il numero massimo di righe rifiutate consentite durante le operazioni di lettura e scrittura prima dell'annullamento dell'operazione di caricamento. Tutte le righe rifiutate vengono ignorate. Ad esempio, se due record su dieci hanno errori, vengono elaborati solo otto record.

Questa opzione esegue il mapping diretto all'opzione REJECT_VALUE per l'istruzione CREATE EXTERNAL TABLE in PolyBase e all'opzione MAXERRORS per il comando COPY del connettore di Azure Synapse.

Per impostazione predefinita, il valore maxErrors è impostato su 0: si prevede che tutti i record siano validi.

Il checkpoint dello stato asincrono è ora disponibile a livello generale

È possibile abilitare il checkpoint dello stato asincrono nelle query di streaming stateful con grandi aggiornamenti di stato. Questo può ridurre la latenza dei micro-batch end-to-end. Questa funzionalità è ora disponibile a livello generale. Per ulteriori informazioni, vedere Checkpoint dello stato asincrono per le query con stato.

È ora possibile specificare le impostazioni predefinite dei parametri per le funzioni definite dall'utente SQL

Quando si crea una funzione definita dall'utente SQL (SQL UDF), è ora possibile specificare espressioni predefinite per i parametri della SQL UDF. È quindi possibile chiamare la funzione definita dall'utente SQL senza fornire valori per quei parametri e Databricks inserirà i valori predefiniti per quei parametri. Vedere CREATE FUNCTION (SQL e Python).

Nuove funzioni SPARK SQL

Con questa versione sono ora disponibili le funzioni SPARK SQL seguenti:

• try_multiply: restituisce multiplier moltiplicato per multiplicando NULL in caso di overflow.
• try_subtract: restituisce la sottrazione di expr2 da expr1o NULL in caso di overflow.

Nuova directory di lavoro per i cluster a concorrenza elevata

Nei cluster ad alta concorrenza con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato, la directory di lavoro corrente dei notebook è ora la directory principale dell'utente. In precedenza, la directory di lavoro era /databricks/driver.

Il supporto delle colonne Identity nelle tabelle Delta è ora disponibile a livello generale

Delta Lake supporta ora le colonne di identità. Quando si scrive in una tabella Delta che definisce una colonna Identity e non si specificano valori per tale colonna, Delta assegna ora automaticamente un valore univoco e statisticamente crescente o decrescente. Vedere CREATE TABLE [USANDO].

Aggiornamenti della libreria

• Librerie di Python aggiornate:
  • filelock da 3.4.2 a 3.6.0
• Librerie R aggiornate:
  • aggiornamento di Homebrew dalla versione 1.0-6 alla 1.0-7
  • scopa da 0.7.11 a 0.7.12
  • CLI da 3.1.0 a 3.2.0
  • Clipr da 0.7.1 a 0.8.0
  • spazi di colore da 2.0-2 a 2.0-3
  • crayon da 1.4.2 a 1.5.0
  • dplyr da 1.0.7 a 1.0.8
  • dtplyr da 1.2.0 a 1.2.1
  • valutare da 0.14 a 0.15
  • foreach da 1.5.1 a 1.5.2
  • futuro da 1.23.0 a 1.24.0
  • generics da 0.1.1 a 0.1.2
  • colla da 1.6.0 a 1.6.1
  • gower da 0.2.2 a 1.0.0
  • iteratori da 1.0.13 a 1.0.14
  • jsonlite da 1.7.3 a 1.8.0
  • magrittr da 2.0.1 a 2.0.2
  • mgcv da 1,8-38 a 1,8-39
  • pilastro da 1.6.4 a 1.7.0
  • randomForest da 4.6-14 a 4.7-1
  • readr dalla versione 2.1.1 alla versione 2.1.2
  • ricette da 0.1.17 a 0.2.0
  • rlang da 0.4.12 a 1.0.1
  • rpart da 4.1-15 a 4.1.16
  • RSQLite da 2.2.9 a 2.2.10
  • sparklyr da 1.7.4 a 1.7.5
  • testthat da 3.1.1 a 3.1.2
  • tidyr da 1.1.4 a 1.2.0
  • tidyselect da 1.1.1 a 1.1.2
  • tinytex da 0,36 a 0,37
  • yaml da 2.2.1 a 2.3.5
• Librerie Java aggiornate:
  • io.delta.delta-sharing-spark_2.12 da 0.3.0 a 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.3, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-38322] [SQL] Supportare la fase di query per mostrare le statistiche di runtime in modalità spiegazione formattata.
• [SPARK-38162] [SQL] Ottimizzare un piano di riga in modalità normale e AQE Optimizer
• [SPARK-38229] [SQL] Non deve controllare temp/external/ifNotExists con visitReplaceTable quando parser
• [SPARK-34183] [SS] DataSource V2: distribuzione e ordinamento necessari nell'esecuzione di micro batch
• [SPARK-37932] [SQL]Attendere di risolvere gli attributi mancanti prima di applicare DeduplicateRelations
• [SPARK-37904] [SQL] Migliorare il Ribilanciamento delle Partizioni nelle regole dell'Ottimizzatore
• [SPARK-38236] [SQL][3.2][3.1] Controllare se la posizione della tabella è assoluta per "new Path(locationUri).isAbsolute" in create/alter table
• [SPARK-38035] [SQL] Aggiungere test docker per i dialetti JDBC integrati
• [SPARK-38042] [SQL] Verificare che ScalaReflection.dataTypeFor funzioni sui tipi di matrice con alias
• [SPARK-38273] Gli iteratori di SQL decodeUnsafeRows devono chiudere i flussi di input sottostanti
• [SPARK-38311] [SQL] Correzione di DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite in modalità ANSI
• [SPARK-38305] [CORE] Controllare in modo esplicito se l'origine esiste in unpack() prima di chiamare i metodi FileUtil
• [SPARK-38275] [SS] Includere l'utilizzo della memoria writeBatch come utilizzo totale della memoria dell'archivio stati RocksDB
• [SPARK-38132] [SQL] Rimuovere NotPropagation regola
• [SPARK-38286] [SQL] I MaxRows e maxRowsPerPartition di Union possono overflow
• [SPARK-38306] [SQL] Correzione di ExplainSuite, StatisticsCollectionSuite e StringFunctionsSuite in modalità ANSI
• [SPARK-38281] [SQL][test] Correzione di AnalysisSuite in modalità ANSI
• [SPARK-38307] [SQL][tests] Correzione di ExpressionTypeCheckingSuite e CollectionExpressionsSuite in modalità ANSI
• [SPARK-38300] [SQL] Usare ByteStreams.toByteArray per semplificare fileToString e resourceToBytes in catalyst.util
• [SPARK-38304] [SQL] Elt() deve restituire null se index è Null in modalità ANSI
• [SPARK-38271] PoissonSampler può restituire più righe di MaxRows
• [SPARK-38297] [PYTHON] Eseguire il cast esplicito del valore restituito alla funzione DataFrame.to_numpy in POS
• [SPARK-38295] [SQL][tests] Correzione di ArithmeticExpressionSuite in modalità ANSI
• [SPARK-38290] [SQL] Correggere JsonSuite e ParquetIOSuite in modalità ANSI
• [SPARK-38299] [SQL] Pulire l'utilizzo deprecato di StringBuilder.newBuilder
• [SPARK-38060] [SQL] Respect allowNonNumericNumbers durante l'analisi dei valori NaN e Infinity tra virgolette nel lettore JSON
• [SPARK-38276] [SQL] Aggiungere piani TPCDS approvati in modalità ANSI
• [SPARK-38206] [SS] Ignora la nullabilità quando si confronta il tipo di dato delle chiavi di join durante il join di flusso-flusso
• [SPARK-37290] [SQL] - Tempo di pianificazione esponenziale in caso di funzione non deterministica
• [SPARK-38232] [SQL] Spiegazione formattata non raccoglie sottoquery nella fase di query in AQE
• [SPARK-38283] [SQL] Testare il parsing non valido delle date e orari in modalità ANSI
• [SPARK-38140] [SQL] Le statistiche delle colonne (min, max) per il tipo timestamp non sono coerenti con i valori a causa delle differenze di fuso orario.
• [SPARK-38227] [SQL][ss] Applica nullità rigida della colonna nidificata nella finestra temporale/finestra della sessione
• [SPARK-38221] [SQL] Eseguire un'iterazione eager su groupingExpressions quando si spostano espressioni di raggruppamento complesse all'esterno di un nodo di aggregazione
• [SPARK-38216] [SQL] Interrompere anticipatamente se tutte le colonne sono colonne di partizionamento quando si crea una tabella Hive
• [SPARK-38214] [SS]Non è necessario filtrare le finestre quando windowDuration è multiplo di slideDuration
• [SPARK-38182] [SQL] Correzione di NoSuchElementException se il filtro sottoposto a push non contiene riferimenti
• [SPARK-38159] [SQL] Aggiungere un nuovo FileSourceMetadataAttribute per i metadati dei file nascosti
• [SPARK-38123] [SQL] Uso unificato DataType a partire targetType da QueryExecutionErrors#castingCauseOverflowError
• [SPARK-38118] [SQL] Func(tipo di dati errato) nella clausola HAVING dovrebbe generare un errore di mancata corrispondenza dei dati
• [SPARK-35173] [SQL][python] Aggiungere più colonne aggiungendo il supporto
• [SPARK-38177] [SQL] Correzione delle trasformazioni errate delle espressioni in Optimizer
• [SPARK-38228] [SQL] L'assegnazione dell'archivio legacy non dovrebbe avere esito negativo in caso di errore in modalità ANSI
• [SPARK-38173] [SQL] Non è possibile riconoscere correttamente la colonna racchiusa tra virgolette quando quotedRegexColumnNa...
• [SPARK-38130] [SQL] Rimuovere il controllo delle voci ordinabili di array_sort
• [SPARK-38199] [SQL] Eliminare l'oggetto inutilizzato dataType specificato nella definizione di IntervalColumnAccessor
• [SPARK-38203] [SQL] Correggere SQLInsertTestSuite e SchemaPruningSuite in modalità ANSI
• [SPARK-38163] [SQL] Mantenere la classe di errore di SparkThrowable durante la costruzione del generatore di funzioni
• [SPARK-38157] [SQL] Impostare in modo esplicito ANSI su false nel timestamp di testNTZ/timestamp.sql e SQLQueryTestSuite in modo che corrisponda ai risultati d'oro previsti
• [SPARK-38069] [SQL][ss] Migliorare il calcolo dell'intervallo di tempo
• [SPARK-38164] [SQL] Nuove funzioni SQL: try_subtract e try_multiply
• [SPARK-38176] [SQL] Modalità ANSI: consente il cast implicito di String in altri tipi semplici
• [SPARK-37498] [PYTHON] Aggiungere alla fine per test_reuse_worker_of_parallelize_range
• [SPARK-38198] [SQL][3.2] Correzione di QueryExecution.debug#toFile usando il valore passato in maxFields quando explainMode è CodegenMode
• [SPARK-38131] [SQL] Usare le classi di errore solo nelle eccezioni rivolte all'utente
• [SPARK-37652] [SQL] Aggiungere un test per migliorare l'efficienza del join asimmetrico utilizzando l'unione
• [SPARK-37585] [SQL] Aggiornamento di InputMetric in DataSourceRDD con TaskCompletionListener
• [SPARK-38113] [SQL] Utilizzare classi di errore negli errori di esecuzione durante il pivoting
• [SPARK-38178] [SS] Correggere la logica per misurare l'utilizzo della memoria di RocksDB
• [SPARK-37969] [SQL] HiveFileFormat deve controllare il nome del campo
• [SPARK-37652] Ripristinare "[SQL]Aggiungere test per ottimizzare il join asimmetrico tramite unione"
• [SPARK-38124] [SQL][ss] Introdurre la StatefulOpClusteredDistribution e applicarla al join stream-stream
• "[SPARK-38030] [SQL] La canonicalizzazione non deve rimuovere la nullabilità del dataType di AttributeReference"
• [SPARK-37907] [SQL] InvokeLike supporta ConstantFolding
• [SPARK-37891] [CORE] Aggiungere il controllo scalastyle per disabilitare scala.concurrent.ExecutionContext.Implicits.global
• [SPARK-38150] [SQL] Aggiornare il commento di RelationConversions
• [SPARK-37943] [SQL] Utilizzare le classi di errore per gli errori di compilazione del raggruppamento
• [SPARK-37652] [SQL]Aggiungere test per ottimizzare il join asimmetrico tramite unione
• [SPARK-38056] [Interfaccia utente Web][3.2] Correzione del problema di Structured Streaming non funzionante nel server di cronologia quando si usa LevelDB
• [SPARK-38144] [CORE] Rimuovere la configurazione di spark.storage.safetyFraction non usata
• [SPARK-38120] [SQL] Correggere HiveExternalCatalog.listPartitions quando il nome della colonna di partizione è maiuscolo e il valore della partizione contiene un punto
• [SPARK-38122] [Docs] Aggiornare la chiave dell'app di DocSearch
• [SPARK-37479] [SQL] Eseguire la migrazione dello spazio dei nomi DROP per utilizzare il comando V2 come impostazione predefinita
• [SPARK-35703] [SQL] Allentare il vincolo per il bucket join e rimuovere HashClusteredDistribution
• [SPARK-37983] [SQL] Eliminare le metriche del tempo di costruzione dall'aggregazione di ordinamento
• [SPARK-37915] [SQL] Combinare unioni se è presente un progetto tra di essi
• [SPARK-38105] [SQL] Utilizzare classi di errore per gli errori di analisi dei join
• [SPARK-38073] [PYTHON] Aggiornare la funzione atexit per evitare problemi con l'associazione tardiva
• [SPARK-37941] [SQL] Usare classi di errore negli errori di compilazione del casting
• [SPARK-37937] [SQL] Usare classi di errore negli errori di analisi del join laterale
• [SPARK-38100] [SQL] Rimuovere il metodo privato inutilizzato in Decimal
• [SPARK-37987] [SS] Risolto test instabile StreamingAggregationSuite. cambiamento schema dello stato al riavvio della query
• [SPARK-38003] [SQL] La regola LookupFunctions deve cercare solo le funzioni dal Registro di sistema delle funzioni scalari
• [SPARK-38075] [SQL] Correzione hasNext nell'iteratore HiveScriptTransformationExecdi output del processo
• [SPARK-37965] [SQL] Rimuovere la verifica del nome del campo durante la lettura/scrittura di dati esistenti in Orc
• [SPARK-37922] [SQL] Unificare in un unico cast se possiamo eseguire l'up-cast in modo sicuro di due cast (per dbr-branch-10.x)
• [SPARK-37675] [SPARK-37793] Impedire la sovrascrittura dei file uniti di shuffle push dopo che lo shuffle è stato finalizzato.
• [SPARK-38011] [SQL] Rimuovere la configurazione duplicata e inutile in ParquetFileFormat
• [SPARK-37929] [SQL] Supportare la modalità a cascata per dropNamespace l'API
• [SPARK-37931] [SQL] Specificare il nome della colonna, se necessario
• [SPARK-37990] [SQL] Supporto di TimestampNTZ in RowToColumnConverter
• [SPARK-38001] [SQL] Sostituire le classi di errore correlate alle funzionalità non supportate da UNSUPPORTED_FEATURE
• [SPARK-37839] [SQL] DS V2 supporta il push-down di aggregazione parziale AVG
• [SPARK-37878] [SQL] Eseguire la migrazione SHOW CREATE TABLE per usare il comando v2 per impostazione predefinita
• [SPARK-37731] [SQL] Rifattorizzare e semplificare la ricerca delle funzioni in Analyzer
• [SPARK-37979] [SQL] Passare a classi di errore più generiche nelle funzioni AES
• [SPARK-37867] [SQL] Compilare le funzioni di aggregazione del dialetto JDBC integrato
• [SPARK-38028] [SQL] Esporre il vettore Arrow da ArrowColumnVector
• [SPARK-30062] [SQL] Aggiungere l'istruzione IMMEDIATE all'implementazione del troncamento del dialetto DB2
• [SPARK-36649] [SQL] Supporto Trigger.AvailableNow nell'origine dati Kafka
• [SPARK-38018] [SQL] Correzione di ColumnVectorUtils.populate per gestire correttamente CalendarIntervalType
• [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved dovrebbe essere considerato ExecutorDecommission come completato
• [SPARK-38019] [CORE] Rendere ExecutorMonitor.timedOutExecutors deterministico
• [SPARK-37957] [SQL] Passare correttamente il flag deterministico per le funzioni scalari V2
• [SPARK-37985] [SQL] Correzione del test flaky per SPARK-37578
• [SPARK-37986] [SQL] Supportare TimestampNTZ nell'ordinamento di radix
• [SPARK-37967] [SQL] Literal.create supporto per ObjectType
• [SPARK-37827] [SQL] Inserire alcune proprietà della tabella predefinite in V1Table.propertie per adattarsi al comando V2
• [SPARK-37963] [SQL] È necessario aggiornare l'URI della partizione dopo la ridenominazione della tabella in InMemoryCatalog
• [SPARK-35442] [SQL] Supporto della propagazione di una relazione vuota tramite aggregazione/unione
• [SPARK-37933] [SQL] Modificare il metodo di attraversamento delle regole push down V2ScanRelationPushDown
• [SPARK-37917] [SQL] Applica il limite 1 sul lato destro del join semi/anti sinistro se la condizione di join è vuota
• [SPARK-37959] [ML] Correzione del test unitario di controllo della norma in KMeans & BiKMeans
• [SPARK-37906] [SQL] spark-sql non deve passare l'ultimo commento al back-end
• [SPARK-37627] [SQL] Aggiungere una colonna ordinata in BucketTransform

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.4 LTS.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
  • Nota: questa è la versione ubuntu usata dai contenitori di Databricks Runtime. I contenitori di Databricks Runtime vengono eseguiti nelle macchine virtuali del provider di servizi cloud, che potrebbero usare una versione ubuntu diversa o una distribuzione Linux diversa.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Librerie di Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot MICROSOFT CRAN nel 2022-02-24. Lo snapshot non è più disponibile.

Librerie Java e Scala installate (versione cluster Scala 2.12)