commit (DataSourceStreamWriter)

使用提交消息列表提交此微包。

当所有任务成功运行时,都会在驱动程序上调用此方法。 提交消息是从 write() 每个任务的方法调用中收集的,并传递给此方法。 实现应使用提交消息在流式处理接收器中提交微包。

Syntax

commit(messages: List[Optional[WriterCommitMessage]], batchId: int)

参数

参数 类型 说明
messages WriterCommitMessage 列表 提交消息的列表。 如果写入任务失败,提交消息将为 None
batchId int 一个整数,用于唯一标识正在写入的一批数据。 每个微分块处理时,整数增加 1。