指定された重みでこの DataFrame をランダムに分割します。
構文
randomSplit(weights: List[float], seed: Optional[int] = None)
パラメーター
| パラメーター | タイプ | 説明 |
|---|---|---|
weights |
リスト | のリストは、DataFrame を分割する重みとして使用されます。 重みは、合計が 1.0 でない場合に正規化されます。 |
seed |
int、省略可能 | サンプリングのシード。 |
返品
list: DataFrames のリスト。
例示
from pyspark.sql import Row
df = spark.createDataFrame([
Row(age=10, height=80, name="Alice"),
Row(age=5, height=None, name="Bob"),
Row(age=None, height=None, name="Tom"),
Row(age=None, height=None, name=None),
])
splits = df.randomSplit([1.0, 2.0], 24)
splits[0].count()
# 2
splits[1].count()
# 2