DataStreamWriter

Schnittstelle zum Schreiben eines Streaming-DataFrames in externe Speichersysteme (z. B. Dateisysteme und Schlüsselwertspeicher). Hier können Sie df.writeStream darauf zugreifen.

Syntax

# Access through DataFrame
df.writeStream

Methodik

Methode	Beschreibung
`outputMode(outputMode)`	Gibt an, wie Daten eines Streaming-DataFrames in die Spüle geschrieben werden. Verfügbar sind die Optionen `append`, `complete` und `update`.
`format(source)`	Gibt das Ausgabedatenquellformat an.
`option(key, value)`	Fügt eine Ausgabeoption für die zugrunde liegende Datenquelle hinzu.
`options(**options)`	Fügt mehrere Ausgabeoptionen für die zugrunde liegende Datenquelle hinzu.
`partitionBy(*cols)`	Partitioniert die Ausgabe durch die angegebenen Spalten im Dateisystem.
`clusterBy(*cols)`	Gruppiert die Ausgabe der angegebenen Spalten.
`queryName(queryName)`	Gibt den Namen der Streamingabfrage an.
`trigger(**kwargs)`	Legt den Trigger für die Ausführung der Streamingabfrage fest.
`foreach(f)`	Legt die Ausgabe der Streamingabfrage fest, die von der angegebenen Funktion oder dem angegebenen Objekt verarbeitet werden soll.
`foreachBatch(func)`	Legt die Ausgabe der einzelnen Mikrobatch fest, die von der angegebenen Funktion verarbeitet werden soll.
`start(path)`	Startet die Ausführung der Streamingabfrage und gibt ein `StreamingQuery` Objekt zurück.
`table(tableName)`	Alias für `toTable()`. Schreibt Daten in die angegebene Tabelle und gibt ein `StreamingQuery` Objekt zurück.
`toTable(tableName)`	Startet die Ausführung der Streamingabfrage und gibt kontinuierlich Ergebnisse an die angegebene Tabelle aus.

Beispiele

Laden Sie einen Geschwindigkeitsstream, wenden Sie eine Transformation an, schreiben Sie die Konsole, und beenden Sie nach 3 Sekunden.

import time
df = spark.readStream.format("rate").load()
df = df.selectExpr("value % 3 as v")
q = df.writeStream.format("console").start()
time.sleep(3)
q.stop()

Feedback

War diese Seite hilfreich?

Last updated on 2026-04-19