Freigeben über

orc (DataFrameWriter)

Speichert den Inhalt des DataFrame ORC-Formats am angegebenen Pfad.

Syntax

orc(path, mode=None, partitionBy=None, compression=None)

Parameter

Parameter Typ Beschreibung
path str Der Pfad in einem hadoop-unterstützten Dateisystem.
mode str, optional Das Verhalten, wenn Daten bereits vorhanden sind. Akzeptierte Werte sind 'append', 'overwrite', 'ignore'und 'error' ( 'errorifexists' Standard).
partitionBy str oder list, optional Namen der Partitionierungsspalten.
compression str, optional Der zu verwendende Komprimierungscodec.

Rückkehr

Nichts

Beispiele

Schreiben Sie ein DataFrame in eine ORC-Datei, und lesen Sie es wieder.

import tempfile
with tempfile.TemporaryDirectory(prefix="orc") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.orc(d, mode="overwrite")

    spark.read.format("orc").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on