punto di controllo

Restituisce una versione con checkpoint di questo dataframe. Il checkpoint può essere usato per troncare il piano logico di questo dataframe, particolarmente utile negli algoritmi iterativi in cui il piano può crescere in modo esponenziale. Verrà salvato nei file all'interno della directory del checkpoint impostata con SparkContext.setCheckpointDiro spark.checkpoint.dir .

Sintassi

checkpoint(eager: bool = True)

Parametri

Restituzioni

DataFrame: dataframe con checkpoint.

Note

Questa API è sperimentale.

Examples

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]