esquema

Especifica o esquema de entrada. Algumas fontes de dados (como JSON) podem inferir automaticamente o esquema de entrada a partir dos dados. Ao especificar o esquema aqui, a fonte de dados subjacente pode saltar a etapa de inferência do esquema, o que acelera o carregamento dos dados.

Sintaxe

schema(schema)

Parâmetros

Parâmetro Tipo Descrição
schema StructType ou str Um StructType objeto ou uma cadeia de caracteres formatada em DDL (por exemplo, 'col0 INT, col1 DOUBLE').

Devoluções

DataFrameReader

Exemplos

Especifique o esquema ao ler um ficheiro CSV.

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)
  • Last updated on