parquet (DataFrameWriter)

Guarda o conteúdo do DataFrame formato in Parquet no caminho especificado.

Sintaxe

parquet(path, mode=None, partitionBy=None, compression=None)

Parâmetros

Parâmetro Tipo Descrição
path str O caminho em qualquer sistema de ficheiros suportado por Hadoop.
mode STR, opcional O comportamento quando os dados já existem. Os valores aceites são 'append', 'overwrite', 'ignore', e 'error' ou 'errorifexists' (por defeito).
partitionBy STR ou lista, opcional Nomes das colunas de partição.
compression STR, opcional O codec de compressão a usar.

Devoluções

Nenhum

Exemplos

Escreve um DataFrame num ficheiro Parquet e lê-o.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on