Databricks Runtime 14.2 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.2, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione a novembre 2023.

Miglioramenti e nuove funzionalità

• CACHE SELECT viene ora ignorato
• Miglioramento del comportamento di memorizzazione nella cache
• Correzione della gestione dei file danneggiati nei comandi DML
• Supporto per il registro degli schemi per funzioni correlate a protobuf e Avro all'interno di cluster condivisi
• foreachBatch e StreamingListener supporto
• La concorrenza a livello di riga è disponibile a livello generale e attiva per impostazione predefinita
• Delta Sharing: i destinatari possono eseguire query batch, CDF e di streaming su tabelle condivise con vettori di eliminazione (anteprima pubblica)
• Clone superficiale per le tabelle esterne del catalogo Unity (anteprima pubblica)
• Nuovo algoritmo di assegnazione della memorizzazione nella cache dei dischi
• from_avro con il connettore per il registro degli schemi aggiunge supporto per l'evoluzione degli schemi
• Raccolta di statistiche multithread più veloce
• Filtri pushdown nel componente DeltaSource sui file Delta
• Supporto per le funzioni scalari definite dall'utente nei cluster condivisi (anteprima pubblica)

CACHE SELECT viene ora ignorato

Il comando CACHE SELECT SQL viene ora ignorato a favore di un algoritmo di memorizzazione nella cache migliorato. Consulta Ottimizza le prestazioni con la cache su Azure Databricks

Miglioramento del comportamento di memorizzazione nella cache

Il posizionamento di DiskCache da parte dello scheduler di Spark ora presenta un'assegnazione di partizione più veloce, un miglior bilanciamento durante la scalabilità automatica del cluster e un'esecuzione delle query più coerente.

Correzione della gestione dei file danneggiati nei comandi DML

I comandi DELETEDML , UPDATEe MERGE INTO non rispettano più le opzioni ignoreCorruptFiles di lettura e ignoreMissingFiles. Quando si riscontra un file illeggibile in una tabella, questi comandi hanno ora esito negativo anche se queste opzioni sono specificate.

Supporto dello Schema Registry per le funzioni relative a protobuf e Avro nei cluster condivisi

È ora possibile usare le funzioni from_avro, to_avro, from_protobuf e to_protobuf Python con registro schemi nei cluster condivisi.

Supporto di foreachBatch e di StreamingListener

È ora possibile usare le foreachBatch() API e StreamingListener con Structured Streaming nei cluster condivisi. Vedere Use foreachBatch per scrivere in sink di dati arbitrari e Monitoraggio delle query di Structured Streaming su Azure Databricks.

La concorrenza a livello di riga è disponibile a livello generale e attiva per impostazione predefinita

La concorrenza a livello di riga riduce i conflitti tra le operazioni di scrittura simultanee rilevando le modifiche a livello di riga. La concorrenza a livello di riga è supportata solo nelle tabelle senza partizionamento, incluse le tabelle con clustering liquido. La concorrenza a livello di riga è abilitata per impostazione predefinita nelle tabelle Delta con vettori di eliminazione abilitati. Consulta Concorrenza a livello di riga.

Delta Sharing: i destinatari possono eseguire query batch, CDF e di streaming su tabelle condivise con vettori di eliminazione (Anteprima pubblica)

I destinatari di Delta Sharing possono ora eseguire query batch, CDF e in streaming su tabelle condivise che utilizzano vettori di eliminazione. In Databricks Runtime 14.1 possono eseguire solo query batch. Vedere Aggiungere tabelle con vettori di eliminazione o mapping di colonne a una condivisione, Leggere tabelle con vettori di eliminazione o mapping di colonne abilitati e Leggere tabelle con vettori di eliminazione o mapping di colonne abilitati.

Clone superficiale per le tabelle esterne di Unity Catalog (Anteprima Pubblica)

È ora possibile usare la clonazione superficiale con le tabelle esterne del Catalogo Unity. Vedere Shallow clone per le tabelle del Catalogo Unity.

Nuovo algoritmo di assegnazione della cache disco

L'utilità di pianificazione Spark usa ora un nuovo algoritmo di memorizzazione nella cache del disco. L'algoritmo migliora l'utilizzo del disco e l'assegnazione della partizione tra i nodi, con un'assegnazione più veloce sia inizialmente che dopo gli eventi di ridimensionamento del cluster. L'assegnazione della cache più permanente migliora la coerenza tra le esecuzioni e riduce lo spostamento dei dati durante le operazioni di ribilanciamento.

from_avro con il connettore del registro degli schemi aggiunge il supporto per l'evoluzione dello schema

È ora possibile abilitare il riavvio delle pipeline quando vengono rilevati record evoluti. In precedenza, se l'evoluzione dello schema si verificava con il from_avro connettore, le nuove colonne restituivano null. Vedere Leggere e scrivere dati Avro in streaming.

Raccolta di statistiche multithread più veloce

La raccolta di statistiche è fino a 10 volte più veloce su cluster di piccole dimensioni quando viene eseguito CONVERT TO DELTA o quando si clona da delle tabelle Apache Iceberg e Parquet. Vedere Convertire in tabelle Delta Lake e Clone Parquet e Iceberg.

Filtri pushdown nel sistema DeltaSource su file Delta

Per un utilizzo migliore, i filtri di partizione per le query di streaming delle tabelle Delta vengono ora inseriti in Delta prima della limitazione della frequenza.

Supporto per le funzioni scalari definite dall'utente nei cluster condivisi (anteprima pubblica)

È ora possibile usare funzioni di tipo scalare definite dall'utente nei cluster abilitati per il Catalogo Unity configurati con la modalità di accesso condiviso. Vedere Funzioni scalari definite dall'utente - Scala.

Aggiornamenti della libreria

• Librerie di Python aggiornate:
  • fastjsonschema da 2.18.0 a 2.19.0
  • filelock da 3.12.3 a 3.12.4
  • googleapis-common-protos da 1.60.0 a 1.61.0
• Librerie R aggiornate:
• Librerie Java aggiornate:

Apache Spark

Databricks Runtime 14.2 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-45592] [DBRRM-624] Ripristinare "[SC-146977][sql] Problema di correttezza in AQE con InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] Annullare “[SC-146319][python][SQL] Supporto iniziale…”
• [SPARK-45433] [DBRRM-621] Ripristinare "[SC-145163][sql] Correzione dello schema CSV/JSON infer...
• [SPARK-45592] [SC-146977][sql] Problema di correttezza in AQE con InMemoryTableScanExec
• [SPARK-45354] Ripristinare “[SC-143991][sql] Risolvere le funzioni dal basso”
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Correzione dei test
• [SPARK-45680] [CONNECT] Sessione di rilascio
• [SPARK-43380] [SC-146726][es-897115][SQL] Correzione del rallentamento in Avro read
• [SPARK-45649] [SC-146742][sql] Unificare il framework di preparazione per OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Creazione di StructType da JSON
• [SPARK-45620] [SC-146225][python] Correzione delle API rivolte all'utente correlate a Python UDTF per l'uso di camelCase
• [SPARK-45727] [SC-146978][ss] Rimuovere la mappa inutilizzata nella simulazione della propagazione filigrana
• [SPARK-45723] [SC-146890][python][CONNECT] I metodi del catalogo evitano la conversione di pandas
• [SPARK-45574] [SC-146106][sql] Aggiungere :: sintassi come sintassi abbreviata per il cast
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit non supporta --total-executor-cores la distribuzione in K8s
• [SPARK-45661] [SC-146594][sql][PYTHON] Aggiungi toNullable in StructType, MapType e ArrayType
• [SPARK-45524] [SC-146319][python][SQL] Supporto iniziale per l'API di lettura dell'origine dati Python
• [SPARK-45542] [SC-145892][core] Sostituire setSafeMode(HdfsConstants.SafeModeAction, boolean) con setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ: Gestire partizioni di input vuote dopo il filtro dinamico
• [SPARK-45454] [SC-144846][sql] Impostare il proprietario predefinito della tabella su current_user
• [SPARK-45554] [SC-146875][python] Introdurre un parametro flessibile a assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] Usare l'ID dataframe per convalidare semanticamente CollectMetrics
• [SPARK-45674] [SC-146862][connect][PYTHON] Migliorare il messaggio di errore per gli attributi dipendenti da JVM in Spark Connect.
• [SPARK-45646] [SC-146276][sql] Rimuovere le variabili temporali di hardcoding prima di Hive 2.0
• [SPARK-43380] [SC-146726][es-897115][SQL] Correzione del rallentamento in Avro read
• [SPARK-45545] [SC-146484][core] Pass SSLOptions ovunque creiamo sparkTransportConf
• [SPARK-45641] [SC-146260][ui] Visualizzare l'ora di inizio dell'applicazione in AllJobsPage
• [SPARK-40154] [SC-146491][python][Docs] Corretto livello di archiviazione in Dataframe.cache docstring
• [SPARK-45626] [SC-146259][sql] Convertire _LEGACY_ERROR_TEMP_1055 in REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][sql] Correzione della correttezza per le sottoquery scalari correlate annidate con aggregazioni COUNT
• [SPARK-45619] [SC-146226][connect][PYTHON] Applicare le metriche osservate all'oggetto Osservazione
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Miglioramento scaladoc per StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][core] Evitare ParVector, che non propaga ThreadLocals o SparkSession
• [SPARK-45604] [SC-146105][sql] Aggiungi il controllo del tipo logico su INT64 -> conversione DateTime nel lettore vettoriale Parquet
• [SPARK-44649] [SC-145891][sql] Il filtro runtime consente il passaggio di espressioni equivalenti sul lato creazione
• [SPARK-41674] [SC-128408][sql] Il filtro di runtime dovrebbe supportare il lato di join dell'ordinamento a più livelli come lato di creazione del filtro.
• [SPARK-45547] [SC-146228][ml] Convalidare i vettori con funzione predefinita
• [SPARK-45558] [SC-145890][ss] Introdurre un file di metadati per l'operatore con stato di streaming
• [SPARK-45618] [SC-146252][core] Remove BaseErrorHandler
• [SPARK-45638] [SC-146251][sql][Avro] Migliorare la copertura dei test di conversione decimale
• [SPARK-44837] [SC-146020][sql] Modificare il messaggio di errore ALTER ALTER TABLEPARTITION column
• [SPARK-45561] [SC-146264][sql] Aggiungere conversioni appropriate per TINYINT in MySQLDialect
• [SPARK-45632] [SC-146255][sql] La cache delle tabelle dovrebbe evitare conversioni inutili da formato colonnare a riga quando è abilitato AQE
• [SPARK-45569] [SC-145932][sql] Assegnare il nome all'errore _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][connect] Rendere il test SBT ermetico.
• [SPARK-45452] [SC-144836][sql] Miglioramento InMemoryFileIndex dell'uso dell'API FileSystem.listFiles
• [SPARK-44735] [SC-146186][sql] Aggiungere un messaggio di avviso durante l'inserimento di colonne con lo stesso nome per riga che non corrispondono
• [SPARK-45351] [SC-144791][core] Modificare il spark.shuffle.service.db.backend valore predefinito in ROCKSDB
• [SPARK-45553] [SC-145906][ps] Deprecato assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] Esporre DeterministicLevel come DeveloperApi
• [SPARK-45549] [SC-145895][core] Rimuovi non usato numExistingExecutors in CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] Includi SqlState nel messaggio proto SparkThrowable
• [SPARK-45595] [SC-146037] visualizzare sqlstate nel messaggio di errore
• [SPARK-45628] [SC-146123][ml] Migliora vector_to_array per .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][FOLLOW UP] Disattivare la decorrelazione nelle condizioni di join per il test AQE InSubquery
• [SPARK-45576] [SC-145883][core] Rimuovere i log di debug non necessari in RicaricareX509TrustManagerSuite
• [SPARK-45485] [SC-145719][connect] Miglioramenti dell'agente utente: Usare SPARK_CONNECT_USER_AGENT variabile env e includere attributi specifici dell'ambiente
• [SPARK-45508] [SC-145513][core] Aggiungere "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" in modo che Platform possa accedere a Cleaner su Java 9+
• [SPARK-45595] Annullare "[SC-146037] Esporre SQLSTATE nel messaggio di errore"
• [SPARK-45595] [SC-146037] Esporre SQLSTATE nel messaggio di errore
• [SPARK-45112] Ripristinare "[SC-143259][sql] Use UnresolvedFunction ba...
• [SPARK-45257] [SC-143411][core] Abilita spark.eventLog.compress per impostazione predefinita
• [SPARK-45586] [SC-145899][sql] Ridurre la latenza del compilatore per i piani con alberi delle espressioni di grandi dimensioni
• [SPARK-45517] [SC-145691][connect][14.x] Espandere altri costruttori di eccezioni per supportare i parametri del framework degli errori
• [SPARK-45581] [SC-145896] Rendere SQLSTATE obbligatorio.
• [SPARK-45427] [SC-145590][core] Aggiungere impostazioni SSL RPC a SSLOptions e SparkTransportConf
• [SPARK-45261] [SC-143357][core] Correzione EventLogFileWriters per gestire none come codec
• [SPARK-45582] [SC-145897][ss] Assicurarsi che l'istanza di storage non venga usata dopo aver chiamato il commit all'interno dell'aggregazione in modalità di output dello streaming.
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: Rendi 'rowTag' un'opzione obbligatoria
• [SPARK-45392] [SC-144362][core][SQL][ss] Sostituire Class.newInstance() con Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati
• [SPARK-45458] [SC-145011][sql] Converti IllegalArgumentException in SparkIllegalArgumentException nelle espressioni bitwise
• [SPARK-45564] [SC-145735][sql] Semplificare 'DataFrameStatFunctions.bloomFilter' con l'espressione 'BloomFilterAggregate'
• [SPARK-45566] [SC-145777][ps] Supportare le utilità di test simili a Pandas per l'API Pandas in Spark
• [SPARK-45498] [SC-145509][core] Aggiornamento: Ignora il completamento dei task dalla vecchia fase a...
• [SPARK-45483] [SC-145152][connect] Correggere i gruppi di funzioni in connect.functions
• [SPARK-45577] [SC-145781][python] Correzione di UserDefinedPythonTableFunctionAnalyzeRunner per trasmettere valori aggregati provenienti da argomenti con nome
• [SPARK-45009] [SC-138223][completamento] Disattiva decorrelation nelle condizioni di join per AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Consentire la disabilitazione selettiva di "fallocate" nel statestore di RocksDB
• [SPARK-45500] [SC-145134][core][WEBUI] Mostra il numero di driver completati in modo anomalo in MasterPage
• [SPARK-44120] [SC-144349][python] Supporto Python 3.12
• [SPARK-45439] [SC-145589][sql][UI] Ridurre l'utilizzo della memoria di LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][ui] Ciclo JSON.stringify e JSON.parse non necessario per l'elenco delle attività nei dettagli della fase
• [SPARK-45567] [SC-145718][connect] Rimuovere ridondanza se in org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][sql] Usare la risoluzione basata su UnresolvedFunction nelle funzioni del set di dati SQL
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Rendere la richiesta add_artifact idempotente
• [SPARK-44913] [SC-144326][sql] DS V2 supporta il push della funzione definita dall'utente V2 con metodo magic
• [SPARK-45538] [SC-145635][python][CONNECT]pyspark connect overwrite_partitions bug
• [SPARK-45491] [SC-145622] Aggiungere SQLSTATES 2/2 mancante
• [SPARK-45009] [SC-145620][sc-138223][SQL] Decorrelare le sottoquery dei predicati nella condizione di join
• [SPARK-45377] [SC-144377][core] Gestire InputStream in NettyLogger
• [SPARK-45248] [SC-143759][core]Imposta il timeout per il server della Spark UI.
• [SPARK-44594] [SC-145611][ss] Rimuovere il parametro del metodo ridondante nel connettore kafka
• [SPARK-45539] [SC-145621][ss] Aggiungere assert e log per indicare che la definizione della filigrana è necessaria per le query di aggregazione di streaming in modalità append.
• [SPARK-44262] [SC-145639][sql] Aggiungere dropTable e getInsertStatement a JdbcDialect
• [SPARK-45516] [SC-145480][connect] Includere QueryContext nel messaggio proto di SparkThrowable
• [SPARK-45310] [SC-145127][core] Lo stato del blocco di shuffle deve rispettare il servizio di shuffle durante la migrazione di decomissionamento
• [SPARK-45521] [SC-145487][ml] Evitare il ricalcolo di nnz in VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] Modificare l'alias della colonna current_database() in current_schema()
• [SPARK-45116] [SC-145142][sql] Aggiungere un commento per il param di JdbcDialect createTable
• [SPARK-45495] [SC-145529][core] Supportare il profilo delle risorse dei task a livello di fase per il cluster k8s quando l'allocazione dinamica è disattivata
• [SPARK-45487] [SC-145559] Correggere gli errori SQLSTATEs e temp
• [SPARK-45505] [SC-145550][python] Refactor analyzeInPython per renderlo riutilizzabile
• [SPARK-45132] [SC-145425][sql] Correzione IDENTIFIER per la chiamata di funzione
• [SPARK-45213] [SC-145020][sql] Assegnare il nome all'errore _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][connect] Verifica di base della coerenza dei risultati di Arrow
• [SPARK-45163] [SC-143386][sql] Unisci UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION e risolvi alcuni problemi
• [SPARK-45421] [SC-144814][sql] Catch AnalysisException su InlineCTE
• [SPARK-43664] [SC-145404][connect][PS] Generare un'eccezione per ps.sql con l'oggetto Pandas-on-Spark in Spark Connect.
• [SPARK-45402] [SC-145371][sql][PYTHON] Aggiungere l'API UDTF per i metodi 'eval' e 'terminate' per utilizzare il risultato precedente 'analyze'
• [SPARK-36112] [SC-67885] [SQL] Supportare le sottoquery EXISTS e IN correlate usando il framework DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][sql] Correzione del messaggio di errore per il viaggio di tempo con tabella non esistente
• [SPARK-43254] [SC-143318][sql] Assegnare un nome all'errore _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][connect] Aggiungere il segnaposto facoltativo ExecuteHolder a SparkConnectPlanner
• [SPARK-45451] [SC-145144][sql] Rendere configurabile il livello di archiviazione predefinito della cache dei set di dati
• [SPARK-45192] [SC-143194][ui] Correzione del parametro scaduto lineInterpolate per i bordi graphviz
• [SPARK-45467] [SC-145146][core] Sostituire Proxy.getProxyClass() con Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] Aggiungere il trasformatore di funzionalità del montatore di array
• [SPARK-44855] [SC-145226][connect] Piccole modifiche per collegare ExecuteGrpcResponseSender a ExecuteResponseObserver
• [SPARK-45398] [SC-144796][sql] Aggiungi ESCAPE in sql() dell'espressione Like
• [SPARK-45494] [SC-145129][core][PYTHON] Introdurre funzioni util per leggere/scrivere una matrice di byte per PythonWorkerUtils
• [SPARK-45464] [SC-145125][core] Correzione della build di distribuzione network-yarn
• [SPARK-45461] [SC-144851][core][SQL][mllib] Introdurre un mapper per StorageLevel
• [SPARK-45450] [SC-145009][python] Correggi le importazioni secondo PEP8: pyspark.pandas e pyspark (core)
• [SPARK-45475] [SC-145018][sql] Usa DataFrame.foreachPartition anziché RDD.foreachPartition in JdbcUtils
• [SPARK-45271] [SC-143778][sql] Unire _LEGACY_ERROR_TEMP_1113 in TABLE_OPERATION & eliminare un metodo inutilizzato in QueryCompilationErrors
• [SPARK-45449] [SC-145013][sql] Problema di invalidazione della cache con la tabella JDBC
• [SPARK-45473] [SC-145017][sql] Correzione del messaggio di errore non corretto per RoundBase
• [SPARK-43299] [SC-145022][ss][CONNECT] Convertire StreamingQueryException nel client Scala
• [SPARK-45474] [SC-145014][core][WEBUI] Supporta il filtro di primo livello nell'API JSON masterPage
• [SPARK-45205] [SC-145012][sql] CommandResultExec per eseguire l'override dei metodi iteratore per evitare l'attivazione di più processi.
• [SPARK-45472] [SC-145004][ss] RocksDB State Store non ha bisogno di ricontrollare l'esistenza del percorso del checkpoint
• [SPARK-45470] [SC-145010][sql] Evitare di incollare il valore stringa del tipo di compressione hive orc
• [SPARK-45448] [SC-144829][python] Correzione delle importazioni in base a PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
• [SPARK-45446] [SC-144828][python] Correzione delle importazioni in base a PEP8: pyspark.errors e pyspark.ml
• [SPARK-45239] [SC-144832][connect] Ridurre la dimensione massima predefinita di spark.connect.jvmStacktrace.
• [SPARK-45436] [SC-144831][python][CONNECT] Metodi dataframe controllano la stessa sessione
• [SPARK-45413] [SC-144847][core] Aggiungere un avviso per preparare l'eliminazione del supporto per LevelDB
• [SPARK-45462] [SC-144848][core][WEBUI] Mostra Duration in ApplicationPage
• [SPARK-44527] [SC-144855][sql] Sostituire ScalarSubquery con null se maxRows è 0
• [SPARK-45401] [SC-144854][python] Aggiungere un nuovo metodo cleanup nell'interfaccia UDTF
• [SPARK-43704] [SC-144849][connect][PS] Supporto MultiIndex per to_series()
• [SPARK-45424] [SC-144888][sql] Corregge TimestampFormatter per restituire risultati di analisi opzionali quando c'è solo una corrispondenza con il prefisso.
• [SPARK-45441] [SC-144833][python] Introduzione di altre funzioni util per PythonWorkerUtils
• [SPARK-45412] [SC-144803][python][CONNECT] Convalidare il piano e la sessione in DataFrame.__init__
• [SPARK-45408] [SC-144810][core] Aggiungere impostazioni SSL RPC a TransportConf
• [SPARK-45432] [SC-144818][core] Rimuovere il costruttore Hadoop-2 LocatedFileStatus deprecato
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression controlla le etichette di training
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] Aggiungere DataType.fromDDL in PySpark
• [SPARK-45406] [SC-144793][python][CONNECT] Delete schema from DataFrame constructor
• [SPARK-45404] [SC-144799][core] Supportare AWS_ENDPOINT_URL la variabile env
• [SPARK-43620] [SC-144792][connect][PS] Correzione delle API Pandas dipende dalle funzionalità non supportate
• [SPARK-45354] [SC-143991][sql] Risolvere le funzioni dal basso verso l'alto
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Aggiungere nuovi tentativi per l'API degli artefatti. Migliorare la gestione degli errori (completamento a [SPARK-45093]).
• [SPARK-45120] [SC-142780][spark-45150][UI] Aggiornare d3 da v3 a v7(v7.8.5) e applicare le modifiche api nell'interfaccia utente
• [SPARK-44838] [SC-143983][sql] miglioramento di raise_error
• [SPARK-45312] [SC-143754][sql][UI] Supporto per alternare visualizzazione/nascondi SVG del piano sulla pagina di esecuzione
• [SPARK-45378] [SC-144448][core] Aggiungere convertToNettyForSsl a ManagedBuffer
• [SPARK-44762] [SC-144338][connect][CORE] Documentazione per SparkConnect.addJobTag e Connect SparkSession.addTag
• [SPARK-45383] Gestire in modo efficace RelationTimeTravel irrisolto
• [SPARK-45347] [SC-144512][sql][CONNECT] Includere SparkThrowable in FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][sql] CheckAnalysis deve lanciare un piano inlineato come AnalysisException
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} deve generare eccezioni quando il piano non è valido
• [SPARK-45227] [SC-144233][core] Correzione di un problema di thread safety sottile con CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][python] Rifattorizzare la regola dell'analizzatore ResolveFunctions per ritardare la creazione di un join laterale quando vengono utilizzati argomenti di tabella.
• [SPARK-45266] Ripristinare "[SC-144171][python] la regola dell'analizzatore ResolveFunctions per ritardare il join laterale quando vengono usati argomenti di tabella"
• [SPARK-45371] [SC-144389][connect] Risolvere i problemi di ombreggiatura nel client Scala di Spark Connect
• [SPARK-45057] [SC-144214][core] Evitare di acquisire il blocco di lettura quando keepReadLock è false
• [SPARK-45385] [SC-144357][sql] Deprecate spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] Rimuovere la configurazione SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] Rifattorizzare la regola dell'analizzatore ResolveFunctions per ritardare la creazione di un join laterale quando vengono utilizzati argomenti di tabella.
• [SPARK-45362] [SC-144198][python] Proiettare le espressioni PARTITION BY prima che il metodo Python UDTF 'eval' le utilizzi
• [SPARK-45346] [SC-143925][sql] L'inferenza dello schema Parquet deve rispettare il flag sensibile alla distinzione tra maiuscole e minuscole durante la fusione degli schemi
• [SPARK-45341] [SC-143933][core] Correggere il livello del titolo nei commenti di KVStore. java per eseguire correttamente sbt doc con Java 17
• [SPARK-45334] [SC-143914][sql] Rimuovere un commento fuorviante in parquetSchemaConverter
• [SPARK-45337] [SC-143932][core] Rifattorizzare AbstractCommandBuilder#getScalaVersion per rimuovere la verifica di Scala 2.12
• [SPARK-45329] [SC-143918][python][CONNECT] I metodi del DataFrame ignorano la conversione in pandas
• [SPARK-43662] [SC-143923][ps][CONNECT] supporto merge_asof in Spark Connect
• [SPARK-44126] [SC-143751][core] Il numero di errori di migrazione casuale non deve aumentare quando l'executor di destinazione è stato rimosso
• [SPARK-44550] [SC-119768][sql] Abilitare le correzioni di correttezza per null IN (empty list) in ANSI
• [SPARK-45316] [SC-143783][core][SQL] Aggiungere nuovi parametri ignoreCorruptFiles/ignoreMissingFiles a e HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] Segnalazione errori per la query addArtifacts
• [SPARK-44756] [SC-143787][core] Executor si blocca quando RetryingBlockTransferor non riesce ad avviare nuovi tentativi
• [SPARK-45333] [SC-143768][core] Correzione di un errore di unità correlato a spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][sql][CONNECT] Gestire il nome file nullo nelle tracce dello stack delle eccezioni
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId aggiunge informazioni di colonna
• [SPARK-45235] [SC-143314][connect][PYTHON] Supportare i parametri mappa e array tramite sql()
• [SPARK-45138] [SC-143309][ss] Definire una nuova classe di errore e applicarla quando lo stato di checkpoint in DFS ha esito negativo
• [SPARK-45297] [SC-143644][sql] Rimuovere la soluzione alternativa per dateformatter aggiunta in SPARK-31827
• [SPARK-44345] [SC-143593][core] Abbassa il livello di log a WARN se la migrazione shuffle è abilitata
• [SPARK-44463] [SC-143251][ss][CONNECT] Migliorare la gestione degli errori per connect steaming Python worker
• [SPARK-45207] [SC-143603][sql][CONNECT] Implementare l'arricchimento degli errori per il client Scala
• [SPARK-45240] [SC-143602][sql][CONNECT] Implementare l'arricchimento degli errori per il client Python
• [SPARK-45216] [SC-143288][sql] Correzione per le API di Dataset con seeding non deterministico
• [SPARK-45251] [SC-143419][connect] Aggiungere il campo client_type per FetchErrorDetails
• [SPARK-45137] [SC-143001][connect] Supporto dei parametri map/array nei parametri parametrizzati sql()
• [SPARK-45224] [SC-143257][python] Aggiungere esempi con map e array come parametri di sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] Implement FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Fallback per eseguire un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare wrapper
• [SPARK-44823] [14.x][sc-142979][PYTHON] Aggiornare black a 23.9.1 e correggere il controllo errato
• [SPARK-45078] [SC-142954][sql] Correzione array_insert di ImplicitCastInputTypes non funziona
• [SPARK-44579] [SC-138428][sql] Supporto all'interruzione durante l'annullamento in SQLExecution
• [SPARK-45252] [SC-143371][core] Escape dei simboli maggiore/minore nei commenti in modo che sbt doc venga eseguito con successo
• [SPARK-45189] [SC-142973][sql] La creazione di UnresolvedRelation da TableIdentifier dovrebbe includere il campo catalogo
• [SPARK-45229] [SC-143254][core][UI] Mostra il numero di driver che sono in attesa nello stato SUBMITTED nella MasterPage
• [SPARK-43453] Ripristina “[SC-143135][ps] Ignora names di MultiIndex quando axis=1 per concat”

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Vedere Aggiornamenti della manutenzione di Databricks Runtime 14.2.

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Librerie di Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Posit Gestione pacchetti CRAN nel 2023-02-10.

Librerie Java e Scala installate (versione cluster Scala 2.12)