json (DataStreamReader)

Carica un flusso di file JSON e restituisce i risultati come dataframe. Le righe JSON (JSON delimitato da nuova riga) sono supportate per impostazione predefinita. Per JSON con un record per ogni file, impostare l'opzione multiLine su true. Se schema non viene specificato, lo schema di input viene dedotto dai dati.

Sintassi

json(path, schema=None, **options)

Parametri

Restituzioni

DataFrame

Examples

Caricare un flusso da un file JSON temporaneo:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="json") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).json(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()