csv (DataStreamReader)

Carrega um fluxo de ficheiros CSV e devolve o resultado como DataFrame. Se inferSchema estiver ativado, a função passa pela entrada uma vez para determinar o esquema. Para evitar esta passagem, desative inferSchema ou especifique explicitamente o esquema usando schema.

Sintaxe

csv(path, schema=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path str Caminho para a entrada CSV.
schema StructType ou str, opcional Schema como uma cadeia formatada StructType ou DDL (por exemplo, col0 INT, col1 DOUBLE).

Devoluções

DataFrame

Exemplos

Carregar um fluxo a partir de um ficheiro CSV temporário:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on