Freigeben über

load (DataStreamReader)

Lädt einen Datenstrom aus einer Datenquelle und gibt ihn als DataFrame zurück.

Syntax

load(path=None, format=None, schema=None, **options)

Parameter

Parameter Typ Beschreibung
path str, optional Pfad für vom Dateisystem gesicherte Datenquellen.
format str, optional Format der Datenquelle. Wird standardmäßig auf 'parquet' festgelegt.
schema StructType oder str, optional Schema für die Eingabedaten als StructType- oder DDL-formatierte Zeichenfolge (z. B col0 INT, col1 DOUBLE. ).
**options Alle anderen Zeichenfolgenoptionen.

Rückkehr

DataFrame

Beispiele

Laden eines Datenstroms aus einer temporären JSON-Datei:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on