parquet (DataFrameWriter)

DataFrameの内容を Parquet 形式で指定したパスに保存します。

構文

parquet(path, mode=None, partitionBy=None, compression=None)

パラメーター

パラメーター タイプ 説明
path str Hadoop でサポートされているファイル システムのパス。
mode str、省略可能 データが既に存在する場合の動作。 使用できる値は、 'append'、 'overwrite'、 'ignore'、 'error' または 'errorifexists' (既定値) です。
partitionBy str または list、省略可能 パーティション分割列の名前。
compression str、省略可能 使用する圧縮コーデック。

返品

なし

例示

Parquet ファイルに DataFrame を書き込み、読み戻します。

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on