csv (DataStreamReader)

CSV ファイル ストリームを読み込み、結果を DataFrame として返します。 inferSchemaが有効になっている場合、関数は入力を 1 回通過してスキーマを決定します。 このパスを回避するには、 inferSchema を無効にするか、 schemaを使用して明示的にスキーマを指定します。

構文

csv(path, schema=None, **options)

パラメーター

パラメーター タイプ 説明
path str CSV 入力のパス。
schema StructType または str(省略可能) StructType または DDL 形式の文字列としてのスキーマ (たとえば、 col0 INT, col1 DOUBLE)。

返品

DataFrame

例示

一時 CSV ファイルからストリームを読み込みます。

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on