Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Restituisce una versione con checkpoint locale di questo dataframe. Il checkpoint può essere usato per troncare il piano logico di questo dataframe, particolarmente utile negli algoritmi iterativi in cui il piano può crescere in modo esponenziale. I checkpoint locali vengono archiviati negli executor usando il sottosistema di memorizzazione nella cache e pertanto non sono affidabili.
Sintassi
localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)
Parametri
| Parametro | Tipo | Descrizione |
|---|---|---|
eager |
bool, facoltativo, true predefinito | Indica se eseguire immediatamente il checkpoint di questo dataframe. |
storageLevel |
StorageLevel, facoltativo, predefinito None | StorageLevel con cui verrà archiviato il checkpoint. Se non specificato, impostazione predefinita per i checkpoint locali rdd. |
Restituzioni
DataFrame: dataframe con checkpoint.
Note
Questa API è sperimentale.
Examples
df = spark.createDataFrame([
(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]