Databricks Runtime 15.2 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 15.2, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione nel maggio 2024.

Modifiche comportamentali

Il comando Vacuum ripulisce i file di metadati COPY INTO

L'esecuzione di VACUUM in una tabella scritta con COPY INTO ora pulisce i metadati non referenziati associati al monitoraggio dei file inseriti. Non c'è alcun impatto sulla semantica operativa di COPY INTO.

Lakehouse Federation è disponibile a livello generale

In Databricks Runtime 15.2 e versioni successive, i connettori Lakehouse Federation nei tipi di database seguenti sono disponibili a livello generale :

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (Data Warehouse SQL)
• Databricks

Questa versione introduce anche i miglioramenti seguenti:

• Supporto per l'autenticazione Single Sign-On (SSO) nei connettori Snowflake e Microsoft SQL Server.

• collegamento privato di Azure supporto per il connettore SQL Server da ambienti di calcolo serverless. Si veda Passaggio 3: Creare regole per endpoint privati.

• Supporto per i pushdown aggiuntivi (string, math e funzioni varie).
• Miglioramento della frequenza di successo del pushdown tra forme di query diverse.
• Funzionalità di debug pushdown aggiuntive:
  • L'output EXPLAIN FORMATTED visualizza il testo della query di cui è stato eseguito il push.
  • L'interfaccia utente del profilo di query visualizza il testo della query inviato, gli identificatori dei nodi federati e i tempi di esecuzione delle query JDBC (in modalità verbosa). Vedere Visualizzare le query federate generate dal sistema.

BY POSITION per il mapping delle colonne mediante COPY INTO con file CSV senza intestazione

In Databricks Runtime 15.2 e versioni successive, è possibile usare le parole chiave BY POSITION (o la sintassi alternativa ( col_name [ , <col_name> ... ] )) con COPY INTO per i file CSV senza intestazione per semplificare il mapping delle colonne dalla tabella di origine a quella di destinazione. Vedere Parametri.

Ridurre il consumo di memoria quando le attività Spark hanno esito negativo con un Resubmitted errore

In Databricks Runtime 15.2 e versioni successive il valore restituito del metodo Spark TaskInfo.accumulables() è vuoto quando le attività hanno esito negativo con un Resubmitted errore. In precedenza, il metodo restituiva i valori di un tentativo precedente di attività riuscito. Questa modifica del comportamento influisce sui consumer seguenti:

• Attività Spark che usano la EventLoggingListener classe .
• Listener Spark personalizzati.

Per ripristinare il comportamento precedente, impostare spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled su false.

La visualizzazione delle versioni del piano di esecuzione delle query adattive è disabilitata

Per ridurre il consumo di memoria, le versioni del piano AQE (Adaptive Query Execution) sono ora disabilitate per impostazione predefinita nell'interfaccia utente di Spark. Per abilitare la visualizzazione delle versioni del piano AQE nell'interfaccia utente di Spark, impostare spark.databricks.sql.aqe.showPlanChangesInUI.enabled su true.

Il limite per le query conservate viene ridotto per ridurre l'utilizzo della memoria dell'interfaccia utente Spark

In Databricks Runtime 15.2 e versioni successive, per ridurre la memoria usata dall'interfaccia utente di Spark nel calcolo Azure Databricks, il limite per il numero di query visibili nell'interfaccia utente è inferiore da 1000 a 100. Per modificare il limite, impostare un nuovo valore usando la spark.sql.ui.retainedExecutions configurazione di Spark.

DESCRIBE HISTORY mostra ora le colonne di clustering per le tabelle che utilizzano il liquid clustering

Quando si esegue una query DESCRIBE HISTORY, la colonna operationParameters mostra un campo clusterBy per impostazione predefinita per le operazioni CREATE OR REPLACE e OPTIMIZE. Per una tabella Delta che usa clustering liquido, il clusterBy campo viene popolato con le colonne di clustering della tabella. Se la tabella non usa il clustering liquido, il campo è vuoto.

La sintassi del widget del notebook è obsoleta

A partire da Databricks Runtime 15.2, la ${param} sintassi per accedere ai valori dei widget del notebook nelle celle SQL è deprecata. Usare invece la sintassi dell'indicatore di parametro (:param). La sintassi dell'indicatore di parametro offre una migliore protezione SQL injection e prestazioni migliori delle query.

Per indicazioni ed esempi sulla migrazione, vedere Widget di notebook di versione precedente. Per informazioni sull'approccio consigliato corrente, vedere Widget di Databricks.

Miglioramenti e nuove funzionalità

Il supporto per le chiavi primarie ed esterne è disponibile a livello generale

Il supporto per le chiavi primarie ed esterne in Databricks Runtime è disponibile a livello generale. La versione a disponibilità generale include le modifiche seguenti ai privilegi necessari per usare chiavi primarie ed esterne:

• Per definire una chiave esterna, è necessario avere il privilegio SELECT per la tabella con la chiave primaria a cui fa riferimento la chiave esterna. Non è necessario possedere la tabella con la chiave primaria, richiesta in precedenza.
• L'eliminazione di una chiave primaria tramite la clausola CASCADE non richiede privilegi per le tabelle che definiscono chiavi esterne che fanno riferimento alla chiave primaria. In precedenza, era necessario possedere le tabelle di riferimento.
• L'eliminazione di una tabella che include vincoli richiede ora gli stessi privilegi di eliminazione delle tabelle che non includono vincoli.

Per informazioni su come usare chiavi primarie ed esterne con tabelle o viste, vedere clausola CONSTRAINT, clausola ADD CONSTRAINTe clausola DROP CONSTRAINT.

Clustering liquido disponibile a livello generale

Il supporto per il clustering liquido è ora disponibile a livello generale con Databricks Runtime 15.2 e versioni successive. Vedere Usare clustering liquido per le tabelle.

L'estensione dei tipi è disponibile in anteprima pubblica

È ora possibile abilitare l'estensione dei tipi nelle tabelle supportate da Delta Lake. Le tabelle con tipo esteso abilitato consentono di modificare il tipo di colonne in un tipo di dati più ampio senza riscrivere i file di dati sottostanti. Vedere Estensione del tipo.

Clausola di evoluzione dello schema aggiunta alla sintassi di merge SQL

È ora possibile aggiungere la clausola WITH SCHEMA EVOLUTION a un'istruzione di merge SQL per abilitare l'evoluzione dello schema per l'operazione. Vedere Sintassi dell'evoluzione dello schema per unire.

Le origini dati personalizzate pySpark sono disponibili in anteprima pubblica

È possibile creare un'origine dati PySpark usando l'API DataSource di Python (PySpark), che consente la lettura da origini dati personalizzate e la scrittura in sink di dati personalizzati in Apache Spark usando Python. Vedere Origini dati personalizzate pySpark

applyInPandas e mapInPandas ora disponibili nell'ambiente di calcolo del catalogo Unity con modalità di accesso condiviso

Nell'ambito di un rilascio di manutenzione di Databricks Runtime 14.3 LTS, sono ora supportati i tipi UDF applyInPandas e mapInPandas sul calcolo in modalità di accesso condiviso che esegue Databricks Runtime 14.3 e versioni successive.

Usare dbutils.widgets.getAll() per ottenere tutti i widget in un notebook

Usare dbutils.widgets.getAll() per ottenere tutti i valori dei widget in un notebook. Ciò è particolarmente utile quando si passano più valori di widget a una query Spark SQL.

Supporto dell'inventario vuoto

È ora possibile specificare un inventario dei file da considerare quando si esegue il comando VACUUM in una tabella Delta. Vedere la documentazione di OSS Delta.

Supporto per le funzioni di compressione Zstandard

È ora possibile usare le funzioni zst_compress, zstd_decompress e try_zstd_decompress per comprimere e decomprimere i dati BINARY.

Correzioni di bug

I piani di query nell'interfaccia utente SQL adesso mostrano correttamente PhotonWriteStage

Quando vengono visualizzati nell'interfaccia utente SQL, i comandi write nei piani di query mostravano PhotonWriteStage erroneamente come operatore. Con questa versione, l'interfaccia utente viene aggiornata per mostrare PhotonWriteStage come fase. Si tratta solo di una modifica dell'interfaccia utente e non influisce sulla modalità di esecuzione delle query.

Ray viene aggiornato per risolvere i problemi relativi all'avvio dei cluster Ray

Questa versione include una versione corretta di Ray che corregge una modifica critica che impedisce ai cluster Ray di avviarsi con Databricks Runtime per Machine Learning. Questa modifica garantisce che la funzionalità Ray sia identica alle versioni di Databricks Runtime precedenti alla versione 15.2.

Correzione della classe di errore per DataFrame.sort() le funzioni e DataFrame.sortWithinPartitions()

Questa versione include un aggiornamento delle funzioni PySpark DataFrame.sort() e DataFrame.sortWithinPartitions() per garantire che la classe di errore ZERO_INDEX venga lanciata quando 0 viene passato come argomento di indice. In precedenza, la classe INDEX_NOT_POSITIVE di errore è stata generata.

ipywidgets è stato effettuato il downgrade da 8.0.4 a 7.7.2

Per correggere gli errori introdotti da un aggiornamento di ipywidgets a 8.0.4 in Databricks Runtime 15.0, ipywidgets viene effettuato il downgrade alla versione 7.7.2 in Databricks Runtime 15.2. Questa è la stessa versione inclusa nelle versioni precedenti di Databricks Runtime.

Aggiornamenti della libreria

• Librerie di Python aggiornate:
  • GitPython dalla versione 3.1.42 alla versione 3.1.43
  • google-api-core da 2.17.1 a 2.18.0
  • Google-auth dalla versione 2.28.1 alla versione 2.29.0
  • google-cloud-storage dalla versione 2.15.0 alla versione 2.16.0
  • googleapis-common-protos da 1.62.0 a 1.63.0
  • ipywidgets da 8.0.4 a 7.7.2
  • mlflow-skinny da 2.11.1 a 2.11.3
  • s3transfer da 0.10.0 a 0.10.1
  • sqlparse da 0.4.4 a 0.5.0
  • typing_extensions dalla versione 4.7.1 alla versione 4.10.0
• Librerie R aggiornate:
• Librerie Java aggiornate:
  • com.amazonaws.aws-java-sdk-autoscaling da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudformation da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudfront da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudhsm da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudsearch da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudtrail da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatch da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-codedeploy da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cognitosync da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-config da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-core da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-datapipeline da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-directconnect da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-directory da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-dynamodb da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-ec2 da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-ecs da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-efs da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-elasticache da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-emr da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-glacier da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-glue da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-iam da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-importexport da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-kinesis da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-kms da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-lambda da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-logs da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-machinelearning da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-opsworks da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-rds da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-redshift da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-route53 da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-s3 da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-ses da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-simpledb da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-sns da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-sqs da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-ssm da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-storagegateway da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-sts da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-support da 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-workspaces da 1.12.390 a 1.12.610
  • com.amazonaws.jmespath-java da 1.12.390 a 1.12.610

Apache Spark

Databricks Runtime 15.2 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 15.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-47941] [SC-163568] [SS] [Connect] Propagare gli errori di inizializzazione del worker ForeachBatch agli utenti in PySpark
• [SPARK-47412] [SC-163455][sql] Aggiungere il supporto della collation per LPad/RPad.
• [SPARK-47907] [SC-163408][sql] Inserire bang in una configurazione
• [SPARK-46820] [SC-157093][python] Correzione della regressione dei messaggi di errore ripristinando new_msg
• [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource manager: migrazione della registrazione strutturata
• [SPARK-47890] [SC-163324][connect][PYTHON] Aggiungere funzioni varianti a Scala e Python.
• [SPARK-47894] [SC-163086][core][WEBUI] Aggiungi Environment pagina all'interfaccia utente master
• [SPARK-47805] [SC-163459][ss] Implementazione di TTL per MapState
• [SPARK-47900] [SC-163326] Correzione delle regole di confronto implicite (UTF8_BINARY)
• [SPARK-47902] [SC-163316][sql]Rendere le espressioni "Compute Current Time*" pieghevoli
• [SPARK-47845] [SC-163315][sql][PYTHON][connect] Supporto per il tipo di colonna nella funzione split per Scala e Python
• [SPARK-47754] [SC-162144][sql] Postgres: Supporto per la lettura di matrici multidimensionali
• [SPARK-47416] [SC-163001][sql] Aggiungere nuove funzioni a CollationBenchmark #90339
• [SPARK-47839] [SC-163075][sql] Correzione del bug di aggregazione in RewriteWithExpression
• [SPARK-47821] [SC-162967][sql] Implementa l'espressione is_variant_null
• [SPARK-47883] [SC-163184][sql] Rendere CollectTailExec.doExecute pigro con RowQueue
• [SPARK-47390] [SC-163306][sql] PostgresDialect distingue TIMESTAMP da TIMESTAMP_TZ
• [SPARK-47924] [SC-163282][core] Aggiungere un log DEBUG a DiskStore.moveFileToBlock
• [SPARK-47897] [SC-163183][sql][3.5] Correzione della regressione delle prestazioni di ExpressionSet in scala 2.12
• [SPARK-47565] [SC-161786][python] Resilienza ai crash del pool di lavoratori PySpark
• [SPARK-47885] [SC-162989][python][CONNECT] Rendere pyspark.resource compatibile con pyspark-connect
• [SPARK-47887] [SC-163122][connect] Rimuovere l'importazione spark/connect/common.proto inutilizzata da spark/connect/relations.proto
• [SPARK-47751] [SC-161991][python][CONNECT] Rendere pyspark.worker_utils compatibile con pyspark-connect
• [SPARK-47691] [SC-161760][sql] Postgres: Supporta matrice multidimensionale sul lato scrittura
• [SPARK-47617] [SC-162513][sql] Aggiungere l'infrastruttura di testing per le regole di confronto TPC-DS
• [SPARK-47356] [SC-162858][sql] Aggiunta del supporto per ConcatWs & Elt (tutte le regole di confronto)
• [SPARK-47543] [SC-161234][connect][PYTHON] Inferendo dict come MapType dal Pandas DataFrame per consentire la creazione di DataFrame
• [SPARK-47863] [SC-162974][sql] Corregge l'implementazione di startsWith & endsWith compatibile con le regole di confronto per ICU
• [SPARK-47867] [SC-162966][sql] Supporta la variante nell'analisi JSON.
• [SPARK-47366] [SC-162475][sql][PYTHON] Aggiungere VariantVal per PySpark
• [SPARK-47803] [SC-162726][sql] Sostiene il cast a variant.
• [SPARK-47769] [SC-162841][sql] Aggiungere schema_of_variant_agg espressione.
• [SPARK-47420] [SC-162842][sql] Correzione dell'output dei test
• [SPARK-47430] [SC-161178][sql] Supporto GROUP BY per MapType
• [SPARK-47357] [SC-162751][sql] Aggiungere il supporto a Upper, Lower, InitCap (tutte le collazioni)
• [SPARK-47788] [SC-162729][ss] Verificare lo stesso partizionamento hash per le operazioni con stato di streaming
• [SPARK-47776] [SC-162291][ss] Vietare l'uso della collazione di disuguaglianza binaria nello schema chiave dell'operatore con stato.
• [SPARK-47673] [SC-162824][ss] Implementazione della durata (TTL) per ListState
• [SPARK-47818] [SC-162845][connect] Introdurre la cache dei piani in SparkConnectPlanner per migliorare le prestazioni delle richieste di analisi
• [SPARK-47694] [SC-162783][connect] Rendere configurabili le dimensioni massime dei messaggi sul lato client
• [SPARK-47274] Riprendi "[SC-162479][python][SQL] Fornire un uso più utile...
• [SPARK-47616] [SC-161193][sql] Aggiungere un documento utente per il mapping dei tipi di dati SPARK SQL da MySQL
• [SPARK-47862] [SC-162837][python][CONNECT] Correggi la generazione dei file proto
• [SPARK-47849] [SC-162724][python][CONNECT] Modificare lo script di rilascio per rilasciare pyspark-connect
• [SPARK-47410] [SC-162518][sql] Rifattorizzazione di UTF8String e CollationFactory
• [SPARK-47807] [SC-162505][python][ML] Rendere pyspark.ml compatibile con pyspark-connect
• [SPARK-47707] [SC-161768][sql] Gestione speciale del tipo JSON per il connettore MySQL/J 5.x
• [SPARK-47765] Ripristinare "[SC-162636][sql] Aggiungere SET COLLATION per l'analisi..."
• [SPARK-47081] [SC-162151][connect][FOLLOW] Miglioramento dell'usabilità del gestore di avanzamento
• [SPARK-47289] [SC-161877][sql] Consenti alle estensioni di registrare le informazioni estese nel piano di spiegazione
• [SPARK-47274] [SC-162479][python][SQL] Fornire un contesto più utile per gli errori dell'API PySpark DataFrame
• [SPARK-47765] [SC-162636][sql] Aggiungere SET COLLATION alle regole del parser
• [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite si verifica un errore a causa di un piano non valido
• [SPARK-47812] [SC-162696][connect] Supportare la serializzazione di SparkSession per il worker ForEachBatch
• [SPARK-47253] [SC-162698][core] Consenti a LiveEventBus di arrestarsi senza svuotare completamente la coda di eventi
• [SPARK-47827] [SC-162625][python] Avvisi mancanti per le funzionalità deprecate
• [SPARK-47733] [SC-162628][ss] Aggiungere metriche personalizzate per l'operatore transformWithState come parte del progresso della query
• [SPARK-47784] [SC-162623][ss] Merge TTLMode e TimeoutMode in un singolo TimeMode.
• [SPARK-47775] [SC-162319][sql] Supporta i tipi scalari rimanenti nella specifica di variante.
• [SPARK-47736] [SC-162503][sql] Aggiunta del supporto per AbstractArrayType
• [SPARK-47081] [SC-161758][connect] Supporto dell'avanzamento dell'esecuzione delle query
• [SPARK-47682] [SC-162138][sql] Supporto per la conversione da variant.
• [SPARK-47802] [SC-162478][sql] Ripristinare () dal significato dello struct() al significato *
• [SPARK-47680] [SC-162318][sql] Aggiungere variant_explode espressione.
• [SPARK-47809] [SC-162511][sql] checkExceptionInExpression deve controllare l'errore per ciascuna modalità di generazione del codice
• [SPARK-41811] [SC-162470][python][CONNECT] Implementare SQLStringFormatter con WithRelations
• [SPARK-47693] [SC-162326][sql] Aggiungere l'ottimizzazione per il confronto in minuscolo di UTF8String utilizzato nella collazione UTF8_BINARY_LCASE
• [SPARK-47541] [SC-162006][sql] Stringhe collate in tipi complessi che supportano le operazioni reverse, array_join, concat, map
• [SPARK-46812] [SC-161535][connect][PYTHON] Make mapInPandas /mapInArrow support ResourceProfile
• [SPARK-47727] [SC-161982][python] Impostare SparkConf sul livello radice per SparkSession e SparkContext
• [SPARK-47406] [SC-159376][sql] Gestire TIMESTAMP e DATETIME in MYSQLDialect
• [SPARK-47081] Ripristinare "[SC-161758][connect] Support Query Executi...
• [SPARK-47681] [SC-162043][sql] Aggiungere schema_of_variant expression.
• [SPARK-47783] [SC-162222] Aggiungere alcuni SQLSTATEs mancanti per pulire l'YY000 da usare...
• [SPARK-47634] [SC-161558][sql] Aggiungere il supporto legacy per disabilitare la normalizzazione delle chiavi della mappa
• [SPARK-47746] [SC-162022] Implementare la codifica dell'intervallo basato su ordinale in RocksDBStateEncoder
• [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec deve usare sempre context.session
• [SPARK-47643] [SC-161534][ss][PYTHON] Aggiungere il test pyspark per l'origine di streaming Python
• [SPARK-47582] [SC-161943][sql] Eseguire la migrazione di Catalyst logInfo con variabili al framework di registrazione strutturata
• [SPARK-47558] [SC-162007][ss] Supporto TTL per lo stato di ValueState
• [SPARK-47358] [SC-160912][sql][COLLATION] Migliorare il supporto delle espressioni di ripetizione per restituire il tipo di dati corretto
• [SPARK-47504] [SC-162044][sql] Risoluzione di AbstractDataType simpleStrings per StringTypeCollated
• [SPARK-47719] Revertire "[SC-161909][sql] Modificare spark.sql.legacy.t...
• [SPARK-47657] [SC-162010][sql] Implementare il supporto del pushdown del filtro di confronto per ogni origine file
• [SPARK-47081] [SC-161758][connect] Supporto dell'avanzamento dell'esecuzione delle query
• [SPARK-47744] [SC-161999] Aggiunta del supporto per byte con valori negativi nel codificatore di intervalli
• [SPARK-47713] [SC-162009][sql][CONNECT] Correzione di un errore di self-join
• [SPARK-47310] [SC-161930][ss] Aggiungere microbenchmark per le operazioni di merge per più valori nella sezione dei valori dell'archivio di stato
• [SPARK-47700] [SC-161774][sql] Correzione della formattazione dei messaggi di errore con treeNode
• [SPARK-47752] [SC-161993][ps][CONNECT] Rendere pyspark.pandas compatibile con pyspark-connect
• [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementare l'API logWarning/logInfo nel framework di registrazione strutturata
• [SPARK-47107] [SC-161201][ss][PYTHON] Implementare il lettore di partizione per dati di streaming in Python
• [SPARK-47553] [SC-161772][ss] Aggiungere Java supporto per le API dell'operatore transformWithState
• [SPARK-47719] [SC-161909][sql] Modificare il valore predefinito di spark.sql.legacy.timeParserPolicy su CORRETTO
• [SPARK-47655] [SC-161761][ss] Integrare timer con la gestione dello stato iniziale per state-v2
• [SPARK-47665] [SC-161550][sql] Usare SMALLINT per scrivere ShortType in MYSQL
• [SPARK-47210] [SC-161777][sql] Aggiunta del cast implicito senza il supporto per valori indeterminati
• [SPARK-47653] [SC-161767][ss] Aggiungere il supporto per tipi numerici negativi e codificatore della chiave di scansione dell'intervallo
• [SPARK-46743] [SC-160777][sql] Bug del conteggio dopo l'ottimizzazione tramite riduzione delle costanti
• [SPARK-47525] [SC-154568][sql] Supportare l'unione di correlazioni di sottoquery sugli attributi della mappa
• [SPARK-46366] [SC-151277][sql] Usare l'espressione WITH in BETWEEN per evitare espressioni duplicate
• [SPARK-47563] [SC-161183][sql] Aggiungere la normalizzazione della mappa alla creazione
• [SPARK-42040] [SC-161171][sql] SPJ: Introduzione di una nuova API per la partizione di input V2 per segnalare le statistiche delle partizioni
• [SPARK-47679] [SC-161549][sql] Usare HiveConf.getConfVars o nomi conf Hive direttamente
• [SPARK-47685] [SC-161566][sql] Ripristinare il supporto per Stream il tipo in Dataset#groupBy
• [SPARK-47646] [SC-161352][sql] Make try_to_number restituire NULL per l'input in formato non valido
• [SPARK-47366] [SC-161324][python] Aggiungere alias pyspark e dataframe parse_json
• [SPARK-47491] [SC-161176][core] Aggiungere slf4j-api jar nel percorso della classe prima delle altre della directory jars
• [SPARK-47270] [SC-158741][sql] Dataset.isEmpty projects CommandResults localmente
• [SPARK-47364] [SC-158927][core] Avvisa PluginEndpoint quando i plug-in rispondono per un messaggio unidirezionale
• [SPARK-47280] [SC-158350][sql] Rimuovere la limitazione del fuso orario per ORACLE TIMESTAMP WITH TIMEZONE
• [SPARK-47551] [SC-161542][sql] Aggiungere variant_get expression.
• [SPARK-47559] [SC-161255][sql] Supporto codegen per variante parse_json
• [SPARK-47572] [SC-161351][sql] Enforce Window partitionSpec è ordinabile.
• [SPARK-47546] [SC-161241][sql] Migliorare la convalida durante la lettura di Variant da Parquet
• [SPARK-47543] [SC-161234][connect][PYTHON] Inferendo dict come MapType dal Pandas DataFrame per consentire la creazione di DataFrame
• [SPARK-47485] [SC-161194][sql][PYTHON][connect] Creare una colonna con regole di confronto nell'API del dataframe
• [SPARK-47641] [SC-161376][sql] Migliorare le prestazioni per UnaryMinus e Abs
• [SPARK-47631] [SC-161325][sql] Rimuovere il metodo inutilizzato SQLConf.parquetOutputCommitterClass
• [SPARK-47674] [SC-161504][core] Abilita spark.metrics.appStatusSource.enabled per impostazione predefinita
• [SPARK-47273] [SC-161162][ss][PYTHON] implementare l'interfaccia scrittore di flusso di dati Python.
• [SPARK-47637] [SC-161408][sql] Utilizzare errorCapturingIdentifier in altre situazioni
• [SPARK-47497] Ripristina "Revert [SC-160724][sql] Fai supportare a to_csv l'output di array/struct/map/binary come stringhe leggibili"
• [SPARK-47492] [SC-161316][sql] Estendere le regole di spazio vuoto in lexer
• [SPARK-47664] [SC-161475][python][CONNECT] Convalidare il nome della colonna con lo schema memorizzato nella cache
• [SPARK-47638] [SC-161339][ps][CONNECT] Saltare la convalida dei nomi di colonna in PS
• [SPARK-47363] [SC-161247][ss] Stato iniziale senza implementazione del lettore di stato per l'API stato v2.
• [SPARK-47447] [SC-160448][sql] Consenti la lettura di Parquet TimestampLTZ come TimestampNTZ
• [SPARK-47497] Ripristinare "[SC-160724][sql] Make to_csv support the output of array/struct/map/binary as pretty strings"
• [SPARK-47434] [SC-160122][webui] Correzione statistics del collegamento in StreamingQueryPage
• [SPARK-46761] [SC-159045][sql] Stringhe delimitate in un percorso JSON devono supportare ? caratteri
• [SPARK-46915] [SC-155729][sql] Semplificare UnaryMinusAbs e allineare la classe di errore
• [SPARK-47431] [SC-160919][sql] Aggiungere la collation predefinita a livello di sessione
• [SPARK-47620] [SC-161242][python][CONNECT] Aggiungere una funzione helper per ordinare le colonne
• [SPARK-47570] [SC-161165][ss] Integrare le modifiche del codificatore di analisi dell'intervallo con l'implementazione del timer
• [SPARK-47497] [SC-160724][sql] Rendere to_csv in grado di supportare l'output di array/struct/map/binary come stringhe leggibili
• [SPARK-47562] [SC-161166][connect] Estrarre la gestione dei letterali da plan.py
• [SPARK-47509] [SC-160902][sql] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
• [SPARK-47539] [SC-160750][sql] Fare in modo che il valore di ritorno del metodo castToString sia Any => UTF8String
• [SPARK-47372] [SC-160905][ss] Aggiungere il supporto per il codificatore dello stato chiave basato su scansione per intervallo da usare con il provider dell'archivio di stato
• [SPARK-47517] [SC-160642][core][SQL] Prefer Utils.bytesToString per la visualizzazione delle dimensioni
• [SPARK-47243] [SC-158059][ss] Correggere il nome del pacchetto StateMetadataSource.scala
• [SPARK-47367] [SC-160913][python][CONNECT] Supporto delle sorgenti dati Python con Spark Connect
• [SPARK-47521] [SC-160666][core] Usare Utils.tryWithResource durante la lettura dei dati di rimescolamento da memoria esterna
• [SPARK-47474] [SC-160522][core] Ripristinare SPARK-47461 e aggiungere alcuni commenti
• [SPARK-47560] [SC-160914][python][CONNECT] Evitare RPC per convalidare il nome della colonna con lo schema memorizzato nella cache
• [SPARK-47451] [SC-160749][sql] Support to_json(variant).
• [SPARK-47528] [SC-160727][sql] Aggiungere il supporto userDefinedType a DataTypeUtils.canWrite
• [SPARK-44708] Ripristinare "[SC-160734][python] Eseguire la migrazione test_reset_index assert_eq per usare assertDataFrameEqual"
• [SPARK-47506] [SC-160740][sql] Aggiungere il supporto a tutti i formati di origine file per i tipi di dati collazionati
• [SPARK-47256] [SC-160784][sql] Assegnare nomi alle classi di errore _LEGACY_ERROR_TEMP_102[4-7]
• [SPARK-47495] [SC-160720][core] Risolto il problema del file JAR della risorsa primaria aggiunto due volte a spark.jars nella modalità cluster k8s
• [SPARK-47398] [SC-160572][sql] Estrarre un tratto per InMemoryTableScanExec per consentire l'estensione delle funzionalità
• [SPARK-47479] [SC-160623][sql] Ottimizzazione: impossibile scrivere dati nelle relazioni con più percorsi - registro degli errori
• [SPARK-47483] [SC-160629][sql] Aggiungere il supporto per le operazioni di aggregazione e join su array di stringhe collazionate
• [SPARK-47458] [SC-160237][core] Risolvere il problema con il calcolo delle attività simultanee massime per la fase della barriera
• [SPARK-47534] [SC-160737][sql] Passare o.a.s.variant a o.a.s.types.variant
• [SPARK-47396] [SC-159312][sql] Aggiungere un mapping generale per TIME WITHOUT TIME ZONE a TimestampNTZType
• [SPARK-44708] [SC-160734][python] Eseguire la migrazione test_reset_index assert_eq per usare assertDataFrameEqual
• [SPARK-47309] [SC-157733][sc-160398][SQL] XML: Aggiungere test di inferenza dello schema per i tag di valore
• [SPARK-47007] [SC-160630][sql] Aggiungere l'espressione MapSort
• [SPARK-47523] [SC-160645][sql] Sostituire la funzione obsoleta JsonParser#getCurrentName con JsonParser#currentName
• [SPARK-47440] [SC-160635][sql] Correzione della trasmissione della sintassi non supportata in MsSqlServer
• [SPARK-47512] [SC-160617][ss] Tipo di operazione del tag utilizzato con l'acquisizione/rilascio del blocco dell'istanza del deposito di stato RocksDB
• [SPARK-47346] [SC-159425][python] Rendere configurabile la modalità daemon durante la creazione dei processi di pianificazione Python
• [SPARK-47446] [SC-160163][core] Avvisa BlockManager prima removeBlockInternal
• [SPARK-46526] [SC-156099][sql] Supporto LIMIT su sottoquery correlate in cui i predicati fanno riferimento solo alla tabella esterna
• [SPARK-47461] [SC-160297][core] Rimuovere la funzione totalRunningTasksPerResourceProfile privata da ExecutorAllocationManager
• [SPARK-47422] [SC-160219][sql] Supportare stringhe collate nelle operazioni di matrice
• [SPARK-47500] [SC-160627][python][CONNECT] Separare la gestione dei nomi delle colonne da plan.py
• [SPARK-47383] [SC-160144][core] Configurazione del supporto spark.shutdown.timeout
• [SPARK-47342] [SC-159049]Ripristinare "[SQL] Supporto timestampNTZ per DB2 TIMESTAMP WITH TIME ZONE"
• [SPARK-47486] [SC-160491][connect] Rimuovere il metodo privato ArrowDeserializers.getString inutilizzato
• [SPARK-47233] [SC-154486][connect][SS][2/2] Logica client e server per il listener di query di streaming lato client
• [SPARK-47487] [SC-160534][sql] Semplificare il codice in AnsiTypeCoercion
• [SPARK-47443] [SC-160459][sql] Supporto dell'aggregazione su finestra per le regole di confronto
• [SPARK-47296] [SC-160457][sql][COLLATION] Non sono supportate funzioni per regole di confronto non binarie
• [SPARK-47380] [SC-160164][connect] Verificare sul lato server che SparkSession sia lo stesso
• [SPARK-47327] [SC-160069][sql] Spostare il test di concorrenza delle chiavi di ordinamento in CollationFactorySuite
• [SPARK-47494] [SC-160495][doc] Aggiungere la documentazione sulla migrazione per la modifica del comportamento dell'inferenza del timestamp Parquet a partire da Spark 3.3
• [SPARK-47449] [SC-160372][ss] Refattorizzazione e divisione dei test unitari su lista/timer
• [SPARK-46473] [SC-155663][sql] Metodo di riutilizzo getPartitionedFile
• [SPARK-47423] [SC-160068][sql] Regole di confronto - Impostare il supporto delle operazioni per le stringhe con regole di confronto
• [SPARK-47439] [SC-160115][python] Documentare l'API Origine Dati di Python nella pagina di riferimento dell'API
• [SPARK-47457] [SC-160234][sql] Correzione IsolatedClientLoader.supportsHadoopShadedClient per gestire Hadoop 3.4+
• [SPARK-47366] [SC-159348][sql] Implementare parse_json.
• [SPARK-46331] [SC-152982][sql] Rimozione di CodegenFallback dal subset di espressioni DateTime e version()
• [SPARK-47395] [SC-159404] Aggiungere "collatione" e "ordinamento" ad altre API
• [SPARK-47437] [SC-160117][python][CONNECT] Correggere la classe di errore per DataFrame.sort*
• [SPARK-47174] [SC-154483][connect][SS][1/2] SparkConnectListenerBusListener lato server per il listener delle query di streaming lato client
• [SPARK-47324] [SC-158720][sql] Aggiungere la conversione mancante del timestamp per i tipi annidati JDBC
• [SPARK-46962] [SC-158834][ss][PYTHON] Aggiungere un'interfaccia per l'API dell'origine dati di streaming Python e implementare un worker Python per eseguire l'origine dati di streaming Python
• [SPARK-45827] [SC-158498][sql] Spostare i controlli sui tipi di dati in CreatableRelationProvider
• [SPARK-47342] [SC-158874][sql] Supporto TimestampNTZ per DB2 TIMESTAMP CON FUSO ORARIO
• [SPARK-47399] [SC-159378][sql] Disabilitare le colonne generate nelle espressioni con collazioni
• [SPARK-47146] [SC-158247][core] Possibile perdita di thread durante il join sort-merge
• [SPARK-46913] [SC-159149][ss] Aggiunta del supporto per timer basati sull'elaborazione/ora evento con l'operatore transformWithState
• [SPARK-47375] [SC-159063][sql] Aggiungere linee guida per il mapping di timestamp in JdbcDialect#getCatalystType
• [SPARK-47394] [SC-159282][sql] Supporto di TIMESTAMP CON FUSO ORARIO per H2Dialect
• [SPARK-45827] Ripristina “[SC-158498][sql] Spostare i controlli del tipo di dati in...”
• [SPARK-47208] [SC-159279][core] Consenti l'override della memoria sovraccarico di base
• [SPARK-42627] [SC-158021][spark-26494][SQL] Supporta Oracle TIMESTAMP CON FUSO ORARIO LOCALE
• [SPARK-47055] [SC-156916][python] Upgrade MyPy 1.8.0
• [SPARK-46906] [SC-157205][ss] Aggiungere un controllo per la modifica dell'operatore con stato per lo streaming
• [SPARK-47391] [SC-159283][sql] Rimuovere la soluzione alternativa del test case per JDK 8
• [SPARK-47272] [SC-158960][ss] Aggiungere l'implementazione mapState per l'API state v2.
• [SPARK-47375] [SC-159278][doc][FollowUp] Correzione di un errore nella documentazione relativa all'opzione preferTimestampNTZ di JDBC
• [SPARK-42328] [SC-157363][sql] Rimuovere _LEGACY_ERROR_TEMP_1175 dalle classi di errore
• [SPARK-47375] [SC-159261][doc][FollowUp] Correggere la descrizione dell'opzione preferTimestampNTZ nel documento JDBC
• [SPARK-47344] [SC-159146] Estendere INVALID_IDENTIFIER errore oltre a intercettare '-' in un identificatore senza virgolette e correggere "IS ! NULL" et al.
• [SPARK-47340] [SC-159039][sql] Modificare "collate" nel tipo StringType in minuscolo
• [SPARK-47087] [SC-157077][sql] Sollevare l'eccezione di Spark con una classe di errore durante il controllo del valore di configurazione
• [SPARK-47327] [SC-158824][sql] Correggere il problema di sicurezza dei thread nel Collator ICU
• [SPARK-47082] [SC-157058][sql] Correzione dell'errore di fuori limite
• [SPARK-47331] [SC-158719][ss] Serializzazione usando classi case/primitive/POJO basate sul codificatore SQL per l'API dello Stato Arbitrario v2.
• [SPARK-47250] [SC-158840][ss] Aggiungere altre convalide e modifiche NERF per il provider di stato RocksDB e l'uso delle famiglie di colonne
• [SPARK-47328] [SC-158745][sql] Rinominare la collazione UCS_BASIC in UTF8_BINARY
• [SPARK-47207] [SC-157845][core] Supporto spark.driver.timeout e DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][doc] Aggiunta documentazione sulla migrazione: Rilevamento del tipo TimestampNTZ nei file Parquet
• [SPARK-47309] [SC-158827][sql][XML] Aggiungere unit test di inferenza dello schema
• [SPARK-47295] [SC-158850][sql] Aggiunta di StringSearch ICU per le funzioni startsWith e endsWith
• [SPARK-47343] [SC-158851][sql] Correggere la NullPointerException quando sqlString il valore della variabile è una stringa nulla in esecuzione immediata
• [SPARK-46293] [SC-150117][connect][PYTHON] Usare una protobuf dipendenza transitiva
• [SPARK-46795] [SC-154143][sql] Sostituire UnsupportedOperationException con SparkUnsupportedOperationException in sql/core
• [SPARK-46087] [SC-149023][python] Sincronizzare le dipendenze pySpark nei requisiti di documentazione e sviluppo
• [SPARK-47169] [SC-158848][sql] Disabilitare il bucket sulle colonne collate
• [SPARK-42332] [SC-153996][sql] Cambiamento della richiesta in una SparkException in ComplexTypeMergingExpression
• [SPARK-45827] [SC-158498][sql] Spostare i controlli sui tipi di dati in CreatableRelationProvider
• [SPARK-47341] [SC-158825][connect] Sostituire i comandi con le relazioni in alcuni test in SparkConnectClientSuite
• [SPARK-43255] [SC-158026][sql] Sostituire la classe di errore _LEGACY_ERROR_TEMP_2020 da un errore interno
• [SPARK-47248] [SC-158494][sql][COLLATION] Supporto migliorato per le funzioni stringa: contiene
• [SPARK-47334] [SC-158716][sql] Consentire a withColumnRenamed di riutilizzare l'implementazione di withColumnsRenamed
• [SPARK-46442] [SC-153168][sql] DS V2 supporta il push di PERCENTILE_CONT e PERCENTILE_DISC
• [SPARK-47313] [SC-158747][sql] Aggiunta la gestione delle scala.MatchError all'interno di QueryExecution.toInternalError
• [SPARK-45827] [SC-158732][sql] Aggiungere un tipo singleton variante per Java
• [SPARK-47337] [SC-158743][sql][DOCKER] Aggiornare la versione dell'immagine Docker DB2 a 11.5.8.0
• [SPARK-47302] [SC-158609][sql] Collate come identificatore di parola chiave
• [SPARK-46817] [SC-154196][core] Correzione spark-daemon.sh dell'utilizzo aggiungendo il decommission comando
• [SPARK-46739] [SC-153553][sql] Aggiungere la classe di errore UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][sql] Aggiungere il COLLATION_ENABLED flag di configurazione
• [SPARK-46774] [SC-153925][sql][AVRO] Usare mapreduce.output.fileoutputformat.compress anziché mapred.output.compress nei processi di scrittura Avro
• [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Timeout se il lavoratore non si riconnette.
• [SPARK-46835] [SC-158355][sql][Collations] Supporto per l'operazione di join su regole di confronto non binarie
• [SPARK-47131] [SC-158154][sql][COLLATION] Supporto delle funzioni stringa: contiene, inizia con, termina con
• [SPARK-46077] [SC-157839][sql] Prendere in considerazione il tipo generato da TimestampNTZConverter in JdbcDialect.compileValue.
• [SPARK-47311] [SC-158465][sql][PYTHON] Eliminare le eccezioni Python in cui PySpark non si trova nel percorso Python
• [SPARK-47319] [SC-158599][sql] Migliorare il calcolo di missingInput
• [SPARK-47316] [SC-158606][sql] Fix TimestampNTZ in Postgres Array
• [SPARK-47268] [SC-158158][sql][Collations] Supporto per la ripartizione con regole di confronto
• [SPARK-47191] [SC-157831][sql] Evitare la ricerca di relazioni non necessarie durante l'annullamento della cache della tabella/vista
• [SPARK-47168] [SC-158257][sql] Disabilitare il pushdown del filtro Parquet quando si utilizzano stringhe non predefinite con regole di confronto
• [SPARK-47236] [SC-158015][core] Correzione deleteRecursivelyUsingJavaIO per ignorare l'input di file inesistente
• [SPARK-47238] [SC-158466][sql] Ridurre l'utilizzo della memoria dell'executor trasformando il codice generato in WSCG in una variabile broadcast
• [SPARK-47249] [SC-158133][connect] Correzione del bug in cui tutte le esecuzioni di connessione vengono considerate abbandonate indipendentemente dal relativo stato effettivo
• [SPARK-47202] [SC-157828][python] Correzione di un errore di battitura che compromette i datetime con tzinfo
• [SPARK-46834] [SC-158139][sql][Collations] Supporto per le aggregazioni
• [SPARK-47277] [SC-158351][3.5] La funzione PySpark util assertDataFrameEqual non deve supportare la funzione di streaming DF
• [SPARK-47155] [SC-158473][python] Correzione del problema della classe di errore
• [SPARK-47245] [SC-158163][sql] Migliorare il codice di errore per INVALID_PARTITION_COLUMN_DATA_TYPE
• [SPARK-39771] [SC-158425][core] Aggiungere un messaggio di avviso in Dependency quando è necessario creare un numero eccessivamente alto di blocchi di mescolamento.
• [SPARK-47277] [SC-158329] La funzione pySpark util assertDataFrameEqual non deve supportare la funzione di streaming DF
• [SPARK-47293] [SC-158356][core] Compilare batchSchema con sparkSchema invece di accodarne uno per uno
• [SPARK-46732] [SC-153517][connect]Rendere il thread Subquery/Broadcast compatibile con la gestione degli artefatti di Connect
• [SPARK-44746] [SC-158332][python] Aggiungere altre Python documentazione UDTF per le funzioni che accettano tabelle di input
• [SPARK-47120] [SC-157517][sql] L'abbassamento del filtro dati di confronto Null dalla sottoquery provoca un NPE nel filtro Parquet
• [SPARK-47251] [SC-158291][python] Blocca tipi non validi dall'argomento args per il comando sql.
• [SPARK-47251] Ripristina “[SC-158121][python] Blocca tipi non validi dall'argomento args per il comando sql”
• [SPARK-47015] [SC-157900][sql] Disabilitare il partizionamento nelle colonne collate
• [SPARK-46846] [SC-154308][core] Far sì che WorkerResourceInfo estenda Serializable in modo esplicito
• [SPARK-46641] [SC-156314][ss] Aggiungi soglia maxBytesPerTrigger
• [SPARK-47244] [SC-158122][connect] SparkConnectPlanner rendere private le funzioni interne
• [SPARK-47266] [SC-158146][connect] Rendere ProtoUtils.abbreviate restituire lo stesso tipo dell'input
• [SPARK-46961] [SC-158183][ss] Uso di ProcessorContext per archiviare e recuperare handle
• [SPARK-46862] [SC-154548][sql] Disabilitare l'eliminazione delle colonne CSV nella modalità a più righe
• [SPARK-46950] [SC-155803][core][SQL] Allinea not available codec classe di errore
• [SPARK-46368] [SC-153236][core] Supporto readyz nell'API di invio REST
• [SPARK-46806] [SC-154108][python] Miglioramento del messaggio di errore per spark.table quando il tipo di argomento non è corretto
• [SPARK-47211] [SC-158008][connect][PYTHON] Correzione delle regole ignorate di confronto delle stringhe in PySpark Connect
• [SPARK-46552] [SC-151366][sql] Sostituisci UnsupportedOperationException con SparkUnsupportedOperationException in catalyst
• [SPARK-47147] [SC-157842][python][SQL] Correzione dell'errore di conversione di stringhe ordinate in PySpark.
• [SPARK-47144] [SC-157826][connect][SQL][python] Correggere l'errore di confronto di Spark Connect aggiungendo il campo collateId nel protobuf
• [SPARK-46575] [SC-153200][sql][HIVE] Rendere HiveThriftServer2.startWithContext della DevelopApi ripetibile e correggere l'instabilità di ThriftServerWithSparkContextInHttpSuite
• [SPARK-46696] [SC-153832][core] In ResourceProfileManager, le chiamate di funzione devono verificarsi dopo le dichiarazioni di variabili
• [SPARK-47214] [SC-157862][python] Creare un'API UDTF per il metodo 'analyze' per differenziare gli argomenti costantemente NULL da altri tipi di argomenti.
• [SPARK-46766] [SC-153909][sql][AVRO] Supporto del pool di buffer ZSTD per l'origine dati AVRO
• [SPARK-47192] [SC-157819] Convertire alcuni errori di _LEGACY_ERROR_TEMP_0035
• [SPARK-46928] [SC-157341][ss] Aggiungere il supporto per ListState nell'API Stato arbitrario v2.
• [SPARK-46881] [SC-154612][core] Supporto spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][core] Supporto spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][sql] Correzione del bug che usa codec di compressione Parquet non corretto lz4raw
• [SPARK-46791] [SC-154018][sql] Compatibilità con Java Set in JavaTypeInference
• [SPARK-46332] [SC-150224][sql] Eseguire la migrazione CatalogNotFoundException alla classe di errore CATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][sql] Far sì che il valore predefinito da Wider Type Narrow Literal di v2 si comporti come v1
• [SPARK-46664] [SC-153181][core] Migliorare Master per un rapido recupero in caso di zero lavoratori e app
• [SPARK-46759] [SC-153839][sql][AVRO] Codec xz e zstandard supportano il livello di compressione per i file avro

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Vedere Aggiornamenti della manutenzione di Databricks Runtime 15.2.

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Librerie di Python installate

Librerie R installate

Le librerie R vengono installate dal Posit Gestione pacchetti snapshot CRAN.

Librerie Java e Scala installate (versione cluster Scala 2.12)