Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Gestisce tutte le istanze attive StreamingQuery associate a un oggetto SparkSession. Usare spark.streams per accedere a questo.
Sintassi
# Access through SparkSession
spark.streams
Proprietà
| Proprietà | Descrizione |
|---|---|
active |
Restituisce un elenco di tutte le query di streaming attive associate a questo SparkSessionoggetto . |
Methods
| metodo | Descrizione |
|---|---|
get(id) |
Restituisce una query attiva in base al relativo ID univoco. |
awaitAnyTermination(timeout) |
Attende fino al termine di qualsiasi query attiva o fino alla scadenza del timeout. |
resetTerminated() |
Dimentica le query terminate in passato in modo che awaitAnyTermination() possano essere usate di nuovo per attendere nuove terminazioni. |
addListener(listener) |
Registra un StreamingQueryListener oggetto per ricevere i callback degli eventi del ciclo di vita. |
removeListener(listener) |
Annulla la registrazione di un oggetto StreamingQueryListener. |
Examples
sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()