localCheckpoint

Devolve uma versão localmente checkpoint deste DataFrame. O checkpointing pode ser usado para truncar o plano lógico deste DataFrame, o que é especialmente útil em algoritmos iterativos onde o plano pode crescer exponencialmente. Os checkpoints locais são armazenados nos executores através do subsistema de cache e, por isso, não são fiáveis.

Sintaxe

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Parâmetros

Parâmetro Tipo Descrição
eager bool, opcional, por defeito True Se deve verificar este DataFrame imediatamente.
storageLevel StorageLevel, opcional, por defeito Nenhum O StorageLevel com o qual o checkpoint será armazenado. Se não especificado, por defeito os pontos de controlo locais RDD.

Devoluções

DataFrame: DataFrame Checkpoint.

Notes

Esta API é experimental.

Exemplos

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]
  • Last updated on