zu

Gibt einen neuen DataFrame zurück, in dem jede Zeile mit dem angegebenen Schema übereinstimmt.

Syntax

to(schema: StructType)

Parameter

Rückkehr

DataFrame: Abgeglichenes DataFrame.

Hinweise

• Ordnen Sie Spalten und/oder innere Felder anhand des Namens neu an, um dem angegebenen Schema zu entsprechen.
• Project Spalten und/oder innere Felder weg, die vom angegebenen Schema nicht benötigt werden. Fehlende Spalten und/oder innere Felder (vorhanden im angegebenen Schema, aber keine Eingabedatenframe) führen zu Fehlern.
• Wandeln Sie die Spalten und/oder inneren Felder so um, dass sie mit den Datentypen im angegebenen Schema übereinstimmen, wenn die Typen kompatibel sind, z. B. numerisch zu numerisch (Fehler, wenn überlauft), aber keine Zeichenfolge int.
• Übernehmen Sie die Metadaten aus dem angegebenen Schema, während die Spalten und/oder inneren Felder weiterhin ihre eigenen Metadaten behalten, wenn sie nicht vom angegebenen Schema überschrieben werden.
• Fehler, wenn die Nullierbarkeit nicht kompatibel ist. Das Spalten- und/oder innere Feld kann z. B. null sein, aber das angegebene Schema erfordert, dass sie nicht nullwertebar sind.

Unterstützt Spark Connect.

Beispiele

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+