commit (DataSourceStreamWriter)

Faz commit a este microbatch com uma lista de mensagens de commit.

Este método é invocado no driver quando todas as tarefas são executadas com sucesso. As mensagens de commit são recolhidas da write() chamada de método de cada tarefa e passadas para este método. A implementação deve usar as mensagens de commit para confirmar o microbatch no sink de streaming.

Sintaxe

commit(messages: List[Optional[WriterCommitMessage]], batchId: int)

Parâmetros

Parâmetro Tipo Descrição
messages lista de WriterCommitMessage Uma lista de mensagens de commit. Se uma tarefa de escrita falhar, a mensagem de commit será None.
batchId int Um inteiro que identifica de forma única um lote de dados a ser escrito. O valor inteiro aumenta em 1 com cada microlote processado.
  • Last updated on