unpersist

Marca o DataFrame como não persistente e remove todos os blocos da memória e do disco.

Sintaxe

unpersist(blocking: bool = False)

Parâmetros

Devoluções

DataFrame: DataFrame não persistente.

Notes

blocking o padrão mudou para False corresponder ao Scala na 2.0.

Os dados em cache são partilhados entre todas as sessões Spark no cluster, pelo que a sua persistência não persiste afeta todas as sessões.

Exemplos

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]