Condividi tramite

start (DataStreamWriter)

Trasmette il contenuto del dataframe a un'origine dati e restituisce un oggetto StreamingQuery.

Sintassi

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parametri

Parametro Tipo Descrizione
path str, facoltativo Percorso in un file system supportato da Hadoop.
format str, facoltativo Formato utilizzato per salvare.
outputMode str, facoltativo Modalità di scrittura dei dati nel sink: append, completeo update.
partitionBy str o list, facoltativo Nomi delle colonne di partizionamento.
queryName str, facoltativo Nome univoco per la query.
**options
Tutte le altre opzioni stringa. Fornire la maggior parte checkpointLocation dei flussi, non necessario per un memory flusso.

Restituzioni

StreamingQuery

Examples

df = spark.readStream.format("rate").load()

Esempio di base:

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Con un trigger e parametri aggiuntivi:

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()
  • Last updated on