Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Verwaltet alle aktiven StreamingQuery Instanzen, die einer SparkSession. Hier können Sie spark.streams darauf zugreifen.
Syntax
# Access through SparkSession
spark.streams
Eigenschaften
| Eigentum | Beschreibung |
|---|---|
active |
Gibt eine Liste aller aktiven Streamingabfragen zurück, die diesem SparkSessionzugeordnet sind. |
Methodik
| Methode | Beschreibung |
|---|---|
get(id) |
Gibt eine aktive Abfrage anhand ihrer eindeutigen ID zurück. |
awaitAnyTermination(timeout) |
Wartet, bis eine aktive Abfrage beendet wird oder bis das Timeout abläuft. |
resetTerminated() |
Vergessen Sie vergangene beendete Abfragen, awaitAnyTermination() damit sie erneut verwendet werden können, um auf neue Beendigungen zu warten. |
addListener(listener) |
Registriert einen StreamingQueryListener Lebenszyklusereignisrückruf. |
removeListener(listener) |
Deregistert ein StreamingQueryListener. |
Beispiele
sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()