text (DataFrameReader)

テキスト ファイルを読み込み、スキーマが DataFrame という名前の文字列列で始まり、パーティション分割された列がある場合はパーティション分割された列で始まるvalueを返します。 テキスト ファイルは UTF-8 としてエンコードする必要があります。 既定では、テキスト ファイル内の各行は、結果の DataFrame の新しい行です。

構文

text(paths, wholetext=False, lineSep=None, **options)

パラメーター

パラメーター タイプ 説明
paths str または list 1 つ以上の入力パス。
wholetext bool、省略可能 True場合は、各ファイルを 1 つの行として読み取ります。 既定値は False です。
lineSep str、省略可能 使用する行区切り記号。 既定値は、 '\n'、 '\r'、または '\r\n'です。

返品

DataFrame

例示

DataFrame をテキスト ファイルに書き込み、読み戻します。

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+
  • Last updated on