Freigeben über

csv (DataStreamReader)

Lädt einen CSV-Dateidatenstrom und gibt das Ergebnis als DataFrame zurück. Wenn inferSchema diese Option aktiviert ist, durchläuft die Funktion die Eingabe einmal, um das Schema zu bestimmen. Um diesen Durchlauf zu vermeiden, deaktivieren inferSchema oder geben Sie das Schema explizit mithilfe schemavon .

Syntax

csv(path, schema=None, **options)

Parameter

Parameter Typ Beschreibung
path str Pfad für die CSV-Eingabe.
schema StructType oder str, optional Schema als StructType- oder DDL-formatierte Zeichenfolge (z. B col0 INT, col1 DOUBLE. ).

Rückkehr

DataFrame

Beispiele

Laden eines Datenstroms aus einer temporären CSV-Datei:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on