write (DataSourceStreamWriter)

将数据写入流式处理接收器。

对执行程序调用此方法,以将数据写入每个微分块中的流式处理数据接收器。 它接受输入数据的迭代器,并返回表示提交消息的单个行,或者 None 如果没有提交消息。

驱动程序从所有执行程序收集提交消息(如果有)并在所有任务成功运行时将其 commit() 传递给方法。 如果任何任务失败, abort() 将使用收集的提交消息调用该方法。

Syntax

write(iterator: Iterator[Row])

参数

参数 类型 说明
iterator Iterator[Row] 输入数据的迭代器。

退货

WriterCommitMessage

可序列化的提交消息。