start (DataStreamWriter)

Streamt den Inhalt des DataFrame in eine Datenquelle und gibt ein StreamingQuery -Objekt zurück.

Syntax

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parameter

Parameter Typ Beschreibung
path str, optional Pfad in einem Hadoop-unterstützten Dateisystem.
format str, optional Das format, das zum Speichern verwendet wird.
outputMode str, optional Wie Daten in die Spüle geschrieben werden: append, , completeoder update.
partitionBy str oder list, optional Namen der Partitionierungsspalten.
queryName str, optional Eindeutiger Name für die Abfrage.
**options
Alle anderen Zeichenfolgenoptionen. Bereitstellen checkpointLocation der meisten Datenströme; für einen memory Datenstrom nicht erforderlich.

Rückkehr

StreamingQuery

Beispiele

df = spark.readStream.format("rate").load()

Einfaches Beispiel:

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Mit einem Trigger und zusätzlichen Parametern:

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()
  • Last updated on