DLT versione 2022.40

settembre 28 - 5 ottobre 2022

Queste funzionalità e miglioramenti sono stati rilasciati con la versione 2022.40 di DLT.

Versioni di Databricks Runtime usate da questa versione

canale :

• CURRENT (impostazione predefinita): Databricks Runtime 11.0.7
• ANTEPRIMA: Databricks Runtime 11.0.7

Nuove funzionalità e miglioramenti in questa versione

• L'uso di un'etichetta cluster diversa da default o maintenance nelle impostazioni della pipeline causa errori durante la creazione o la modifica della pipeline. Per altre informazioni sulla configurazione del cluster per le pipeline dichiarative di Lakeflow Spark, vedere Configurare il calcolo classico per le pipeline.

• È ora possibile aprire o eseguire pipeline direttamente dai notebook di Lakeflow Spark Declarative Pipelines. Vedere Sviluppare ed eseguire il debug di pipeline con un notebook (legacy).

• Questa versione include un cambiamento significativo nella struttura dei dati delle impostazioni della pipeline restituita dalle richieste API DLT . Questa modifica restituisce il campo edition come valore maiuscolo. In precedenza, questo valore è stato restituito come caso misto. È necessario aggiornare i client che leggono il valore edition nelle risposte API per garantire la corretta elaborazione del valore restituito. Tuttavia, il valore edition nelle richieste API non fa distinzione tra maiuscole e minuscole; I client che inviano richieste, incluso questo campo, non richiedono l'aggiornamento.

Correzioni di bug in questa versione

• Questa versione corregge un bug che causa la visualizzazione di una pipeline nell'interfaccia utente DLT in uno stato RUNNING anche dopo un errore di aggiornamento.

• Questo aggiornamento corregge un bug nell'interfaccia APPLY_CHANGES durante la rielaborazione dei dati di input quando i dati contengono operazioni duplicate di DELETE con lo stesso valore nella colonna SEQUENCE. Questo scenario comporta valori NULL nella tabella di destinazione e la rimozione del valore DeleteVersion. Equivale a contrassegnare il record come NOT-DELETED. Con questa modifica, le operazioni di DELETE duplicate vengono gestite in modo idempotente e contrassegnano sempre il record come DELETED.

• Questa versione corregge un bug che causa l'eliminazione delle righe durante l'elaborazione scD di tipo 2 quando un record cronologico precedente viene eliminato contenente le stesse colonne del record cronologico successivo.

• Questo aggiornamento corregge un bug che causa a una vista con un'aspettativa expect_or_fail di rimanere nello stato RUNNING anche se l'aspettativa fallisce. Con questa correzione, la pipeline fallisce e passa allo stato FAILED.