Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Gere todas as instâncias ativas StreamingQuery associadas a um SparkSession. Uso spark.streams para aceder a isto.
Sintaxe
# Access through SparkSession
spark.streams
Propriedades
| Propriedade | Descrição |
|---|---|
active |
Devolve uma lista de todas as consultas de streaming ativas associadas a este SparkSession. |
Methods
| Método | Descrição |
|---|---|
get(id) |
Devolve uma consulta ativa pelo seu ID único. |
awaitAnyTermination(timeout) |
Espera até que qualquer consulta ativa termine, ou até que o timeout expire. |
resetTerminated() |
Esquece consultas terminadas passadas para poder awaitAnyTermination() ser usada novamente para esperar por novas terminações. |
addListener(listener) |
Regista-se para StreamingQueryListener receber chamadas de retorno de eventos do ciclo de vida. |
removeListener(listener) |
Desregista um StreamingQueryListener. |
Exemplos
sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()