csv (DataStreamReader)

Carica un flusso di file CSV e restituisce il risultato come dataframe. Se inferSchema è abilitato, la funzione passa attraverso l'input una sola volta per determinare lo schema. Per evitare questo passaggio, disabilitare inferSchema o specificare lo schema in modo esplicito usando schema.

Sintassi

csv(path, schema=None, **options)

Parametri

Restituzioni

DataFrame

Examples

Caricare un flusso da un file CSV temporaneo:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()