Freigeben über

Parkett (DataFrameWriter)

Speichert den Inhalt des DataFrame In-Parkett-Formats auf dem angegebenen Pfad.

Syntax

parquet(path, mode=None, partitionBy=None, compression=None)

Parameter

Parameter Typ Beschreibung
path str Der Pfad in einem hadoop-unterstützten Dateisystem.
mode str, optional Das Verhalten, wenn Daten bereits vorhanden sind. Akzeptierte Werte sind 'append', 'overwrite', 'ignore'und 'error' ( 'errorifexists' Standard).
partitionBy str oder list, optional Namen der Partitionierungsspalten.
compression str, optional Der zu verwendende Komprimierungscodec.

Rückkehr

Nichts

Beispiele

Schreiben Sie einen DataFrame in eine Parkettdatei, und lesen Sie es zurück.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on