csv (DataFrameReader)

Lädt eine CSV-Datei und gibt das Ergebnis als ein DataFrame. Wenn inferSchema diese Funktion aktiviert ist, liest diese Funktion die Eingabe einmal, um das Schema zu bestimmen. Um dies zu vermeiden, deaktivieren inferSchema oder geben Sie das Schema explizit mit schema.

Syntax

csv(path, schema=None, **options)

Parameter

Parameter Typ Beschreibung
path str oder list Mindestens ein Eingabepfad oder eine RDD von Zeichenfolgen, die CSV-Zeilen speichern.
schema StructType oder str, optional Ein optionales Eingabeschema als StructType Objekt oder eine DDL-formatierte Zeichenfolge (z. B 'col0 INT, col1 DOUBLE'. ).

Rückkehr

DataFrame

Beispiele

Schreiben Sie einen DataFrame in eine CSV-Datei, und lesen Sie es wieder.

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on