schema

Gibt das Eingabeschema an. Einige Datenquellen (z. B. JSON) können das Eingabeschema automatisch aus Daten ableiten. Durch Angabe des Schemas kann die zugrunde liegende Datenquelle den Schema-Ableitungsschritt überspringen, wodurch das Laden von Daten beschleunigt wird.

Syntax

schema(schema)

Parameter

Parameter Typ Beschreibung
schema StructType oder str Ein StructType Objekt oder eine DDL-formatierte Zeichenfolge (z. B 'col0 INT, col1 DOUBLE'. ).

Rückkehr

DataFrameReader

Beispiele

Geben Sie das Schema beim Lesen einer CSV-Datei an.

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)