Condividi tramite


commit (DataSourceStreamWriter)

Esegue il commit di questo microbatch con un elenco di messaggi di commit.

Questo metodo viene richiamato sul driver quando tutte le attività vengono eseguite correttamente. I messaggi di commit vengono raccolti dalla chiamata al write() metodo da ogni attività e passati a questo metodo. L'implementazione deve usare i messaggi di commit per eseguire il commit del microbatch nel sink di streaming.

Sintassi

commit(messages: List[Optional[WriterCommitMessage]], batchId: int)

Parametri

Parametro Tipo Descrizione
messages elenco di WriterCommitMessage Elenco di messaggi di commit. Se un'attività di scrittura ha esito negativo, il messaggio di commit sarà None.
batchId int Intero che identifica in modo univoco un batch di dati da scrivere. L'intero aumenta di 1 con ogni microbatch elaborato.