to

Restituisce un nuovo dataframe in cui ogni riga viene riconciliata in modo che corrisponda allo schema specificato.

Sintassi

to(schema: StructType)

Parametri

Restituzioni

DataFrame: dataframe riconciliato.

Note

• Riordinare le colonne e/o i campi interni in base al nome in modo che corrisponda allo schema specificato.
• Project colonne e/o campi interni non necessari per lo schema specificato. Le colonne e/o i campi interni mancanti (presenti nello schema specificato ma non nel dataframe di input) comportano errori.
• Eseguire il cast delle colonne e/o dei campi interni in modo che corrispondano ai tipi di dati nello schema specificato, se i tipi sono compatibili, ad esempio numerici a numerici (errore in caso di overflow), ma non stringa a int.
• Trascinare i metadati dallo schema specificato, mentre le colonne e/o i campi interni mantengono i propri metadati se non vengono sovrascritti dallo schema specificato.
• Esito negativo se il supporto dei valori Null non è compatibile. Ad esempio, la colonna e/o il campo interno sono nullable, ma lo schema specificato richiede che non siano nullable.

Supporta Spark Connect.

Examples

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+