ordenarPor

Ordena a saída em cada balde pelas colunas dadas no sistema de ficheiros.

Sintaxe

sortBy(col, *cols)

Parâmetros

Parâmetro Tipo Descrição
col str, tuple ou lista Um nome de coluna, ou uma lista de nomes.
*cols STR, opcional Nomes adicionais de colunas. Deve estar vazio se col for uma lista.

Devoluções

DataFrameWriter

Exemplos

Escreve um DataFrame numa tabela ordenada-bucket e lê-o de volta.

spark.sql("DROP TABLE IF EXISTS sorted_bucketed_table")
spark.createDataFrame([
    (100, "Alice"), (120, "Alice"), (140, "Bob")],
    schema=["age", "name"]
).write.bucketBy(1, "name").sortBy("age").mode(
    "overwrite").saveAsTable("sorted_bucketed_table")

spark.read.table("sorted_bucketed_table").sort("age").show()
# +---+------------+
# |age|        name|
# +---+------------+
# |100|Alice|
# |120|Alice|
# |140| Bob|
# +---+------------+

spark.sql("DROP TABLE sorted_bucketed_table")
  • Last updated on