InputPartition

partitions()のDataSourceReader メソッドによって返される入力パーティションを表す基本クラス。

Databricks Runtime 14.3 LTS に追加されました

構文

InputPartition(value)

パラメーター

メモ

このクラスは picklable である必要があります。

例示

既定の入力パーティション実装を使用します。

def partitions(self):
    return [InputPartition(1)]

入力パーティション クラスをサブクラス化します。

from dataclasses import dataclass

@dataclass
class RangeInputPartition(InputPartition):
    start: int
    end: int

def partitions(self):
    return [RangeInputPartition(1, 3), RangeInputPartition(4, 6)]