json (DataStreamReader)

Lädt einen JSON-Dateidatenstrom und gibt die Ergebnisse als DataFrame zurück. JSON-Zeilen (durch Zeilentrennzeichen getrennte JSON) werden standardmäßig unterstützt. Legen Sie für JSON mit einem Datensatz pro Datei die multiLine Option auf true. Wenn schema nicht angegeben, wird das Eingabeschema aus den Daten abgeleitet.

Syntax

json(path, schema=None, **options)

Parameter

Rückkehr

DataFrame

Beispiele

Laden eines Datenstroms aus einer temporären JSON-Datei:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="json") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).json(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()