StreamingQuery

新しいデータが到着するとバックグラウンドで継続的に実行されるクエリへのハンドル。 すべてのメソッドはスレッド セーフです。

構文

# Returned by DataStreamWriter.start() or DataStreamWriter.toTable()
q = df.writeStream.format("console").start()

プロパティ

財産 説明
id チェックポイント データからの再起動後も保持される、このクエリの一意の ID を返します。
runId 再起動後も保持されない、このクエリの一意の ID を返します。
name クエリのユーザー指定の名前を返します。指定されていない場合は None します。
isActive このストリーミング クエリが現在アクティブかどうかを返します。
status クエリの現在の状態をディクテーションとして返します。
recentProgress このクエリの最新の StreamingQueryProgress 更新プログラムの配列を返します。
lastProgress 最新の StreamingQueryProgress 更新プログラムを返します。更新プログラムがない場合は None します。

メソッド

メソッド 説明
awaitTermination(timeout) stop()または例外によって、このクエリの終了を待機します。
processAllAvailable() ソース内のすべての使用可能なデータが処理され、シンクにコミットされるまでブロックします。 テスト用です。
stop() このストリーミング クエリを停止します。
explain(extended) デバッグ用の (論理および物理) プランをコンソールに出力します。
exception() クエリが例外またはStreamingQueryExceptionで終了した場合にNoneを返します。

例示

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.isActive
# True
sq.name
# 'this_query'
sq.awaitTermination(5)
# False
sq.stop()
sq.isActive
# False