チェックポイント

この DataFrame のチェックポイント付きバージョンを返します。 チェックポイント処理を使用すると、この DataFrame の論理プランを切り詰めることができます。これは、プランが指数関数的に増加する可能性がある反復アルゴリズムで特に便利です。 これは、 SparkContext.setCheckpointDirまたは spark.checkpoint.dir 構成でチェックポイント ディレクトリ セット内のファイルに保存されます。

構文

checkpoint(eager: bool = True)

パラメーター

パラメーター タイプ 説明
eager bool、省略可能、既定値 True この DataFrame をすぐにチェックポイント処理するかどうかを指定します。

返品

DataFrame: チェックポイント処理されたデータフレーム。

メモ

この API は試験段階です。

例示

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]
  • Last updated on