toTable (DataStreamWriter)

Startet die Ausführung der Streamingabfrage und gibt kontinuierlich Ergebnisse in die angegebene Tabelle aus, sobald neue Daten eintreffen. Gibt ein StreamingQuery -Objekt zurück.

Syntax

toTable(tableName, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parameter

Parameter Typ Beschreibung
tableName str Name der Tabelle.
format str, optional Das format, das zum Speichern verwendet wird.
outputMode str, optional Wie Daten in die Spüle geschrieben werden: append, , completeoder update.
partitionBy str oder list, optional Namen der Partitionierungsspalten. Wird für bereits vorhandene v2-Tabellen ignoriert.
queryName str, optional Eindeutiger Name für die Abfrage.
**options
Alle anderen Zeichenfolgenoptionen. Stellen Sie einen checkpointLocation für die meisten Datenströme bereit.

Rückkehr

StreamingQuery

Hinweise

Bei v1-Tabellen partitionBy werden Spalten immer berücksichtigt. Bei v2-Tabellen wird nur berücksichtigt, partitionBy wenn die Tabelle noch nicht vorhanden ist.

Beispiele

Speichern eines Datenstroms in einer Tabelle:

import tempfile
import time
_ = spark.sql("DROP TABLE IF EXISTS my_table2")
with tempfile.TemporaryDirectory(prefix="toTable") as d:
    q = spark.readStream.format("rate").option(
        "rowsPerSecond", 10).load().writeStream.toTable(
            "my_table2",
            queryName='that_query',
            outputMode="append",
            format='parquet',
            checkpointLocation=d)
    time.sleep(3)
    q.stop()
    spark.read.table("my_table2").show()
    _ = spark.sql("DROP TABLE my_table2")
  • Last updated on