StreamingQueryに関連付けられているすべてのアクティブなSparkSession インスタンスを管理します。
spark.streamsを使用してこれにアクセスします。
構文
# Access through SparkSession
spark.streams
プロパティ
| 財産 | 説明 |
|---|---|
active |
この SparkSessionに関連付けられているすべてのアクティブなストリーミング クエリの一覧を返します。 |
メソッド
| メソッド | 説明 |
|---|---|
get(id) |
アクティブなクエリを一意の ID で返します。 |
awaitAnyTermination(timeout) |
アクティブなクエリが終了するか、タイムアウトが切れるまで待機します。 |
resetTerminated() |
awaitAnyTermination()を再度使用して新しい終了を待機できるように、終了した過去のクエリを忘れる。 |
addListener(listener) |
ライフサイクル イベント コールバックを受信する StreamingQueryListener を登録します。 |
removeListener(listener) |
StreamingQueryListenerの登録を解除します。 |
例示
sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()