DLT versione 2022.37

14 settembre - 22, 2022

Queste funzionalità e miglioramenti sono stati rilasciati con la versione 2022.37 di DLT.

Versioni di Databricks Runtime usate da questa versione

Channel:

• CURRENT (impostazione predefinita): Databricks Runtime 10.3.7
• ANTEPRIMA: Databricks Runtime 11.0.5

Nuove funzionalità e miglioramenti in questa versione

• La richiesta API di avvio dell'aggiornamento restituisce ora il campo request_id nel corpo della risposta. Il request_id è un identificatore stabile per la richiesta originale che avvia l'aggiornamento. Se un aggiornamento viene ritentato o riavviato, il nuovo aggiornamento eredita il request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

La nuova richiesta API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) restituisce lo stato dell'aggiornamento della pipeline associato a request_id. La risposta include informazioni sull'aggiornamento più recente.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• A condizione che l'operazione non legga da una vista materializzata o da una tabella di streaming, il codice Python può ora chiamare operazioni di spark.sql al di fuori di funzioni di dlt.table() o dlt.view().

• Le voci del registro eventi contengono ora la proprietà maturity per indicare la stabilità dello schema eventi. I valori possibili sono stable, evolvinge deprecated. Per altre informazioni sul registro eventi DLT, vedere Registro eventi della pipeline.

• Il messaggio di errore viene migliorato quando vengono apportate modifiche incompatibili alle tabelle di origine usate da una tabella di streaming.

• È ora possibile selezionare un criterio cluster nell'interfaccia utente DLT quando si crea o si modifica una pipeline. In precedenza, l'impostazione dei criteri del cluster per una pipeline richiedeva la modifica delle impostazioni JSON della pipeline.

• Avvio più rapido della pipeline. Questa versione include miglioramenti che accelerano la fase SETTING_UP_TABLES quando si avvia una pipeline.

Correzioni di bug in questa versione

• Questa versione corregge un bug che impedisce alla scalabilità automatica avanzata di aumentare quando non sono disponibili istanze del cluster inattive.