sampleBy (DataFrame)

Devolve uma amostra estratificada sem substituição com base na fração dada em cada estrato.

Sintaxe

sampleBy(col: "ColumnOrName", fractions: Dict[Any, float], seed: Optional[int] = None)

Parâmetros

Parâmetro Tipo Descrição
col Coluna ou str que define estratos.
fractions dicionário fração de amostragem para cada estrato. Se um estrato não for especificado, tratamos a sua fração como zero.
seed int, opcional sementes aleatórias.

Devoluções

um novo DataFrame que representa a amostra estratificada.

Exemplos

from pyspark.sql import functions as sf
dataset = spark.range(0, 100, 1, 5).select((sf.col("id") % 3).alias("key"))
sampled = dataset.sampleBy("key", fractions={0: 0.1, 1: 0.2}, seed=0)
sampled.groupBy("key").count().orderBy("key").show()
# +---+-----+
# |key|count|
# +---+-----+
# |  0|    4|
# |  1|    9|
# +---+-----+

dataset.sampleBy(sf.col("key"), fractions={2: 1.0}, seed=0).count()
# 33
  • Last updated on