csv (DataFrameReader)

Carrega um ficheiro CSV e devolve o resultado como um DataFramearquivo . Se inferSchema estiver ativada, esta função lê a entrada uma vez para determinar o esquema. Para evitar isto, desative inferSchema ou especifique explicitamente o esquema usando schema.

Sintaxe

csv(path, schema=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path str ou lista Um ou mais caminhos de entrada, ou um RDD de strings que armazenam linhas CSV.
schema StructType ou str, opcional Um esquema de entrada opcional como StructType objeto ou uma cadeia formatada em DDL (por exemplo, 'col0 INT, col1 DOUBLE').

Devoluções

DataFrame

Exemplos

Escreve um DataFrame num ficheiro CSV e lê-o.

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on