Condividi tramite

parquet (DataFrameWriter)

Salva il contenuto di DataFrame in formato Parquet nel percorso specificato.

Sintassi

parquet(path, mode=None, partitionBy=None, compression=None)

Parametri

Parametro Tipo Descrizione
path str Percorso in qualsiasi file system supportato da Hadoop.
mode str, facoltativo Comportamento quando i dati esistono già. I valori accettati sono 'append', 'overwrite''ignore', e 'error' o 'errorifexists' (impostazione predefinita).
partitionBy str o list, facoltativo Nomi delle colonne di partizionamento.
compression str, facoltativo Codec di compressione da usare.

Restituzioni

Nessuno

Examples

Scrivere un dataframe in un file Parquet e leggerlo di nuovo.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on