json (DataStreamReader)

JSON ファイル ストリームを読み込み、結果を DataFrame として返します。 JSON 行 (改行区切り JSON) は、既定でサポートされています。 ファイルごとに 1 つのレコードを含む JSON の場合は、 multiLine オプションを true に設定します。 schemaが指定されていない場合、入力スキーマはデータから推論されます。

構文

json(path, schema=None, **options)

パラメーター

パラメーター タイプ 説明
path str JSON データセットへのパス。
schema StructType または str(省略可能) StructType または DDL 形式の文字列としてのスキーマ (たとえば、 col0 INT, col1 DOUBLE)。

返品

DataFrame

例示

一時 JSON ファイルからストリームを読み込みます。

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="json") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).json(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on