explicar

Imprime os planos (lógicos e físicos) na consola para efeitos de depuração.

Sintaxe

explain(extended: Optional[Union[bool, str]] = None, mode: Optional[str] = None)

Parâmetros

Parâmetro Tipo Descrição
extended bool, opcional padrão False. Se False, imprime apenas o plano físico. Quando esta é uma cadeia sem especificar o mode, funciona conforme o modo está especificado.
mode STR, opcional especifica o formato de saída esperado dos planos. simple: Imprima apenas um plano físico. extended: Imprimir planos lógicos e físicos. codegen: Imprimir um plano físico e os códigos gerados, se estiverem disponíveis. cost: Imprimir um plano lógico e estatísticas, se estiverem disponíveis. formatted: Divida a saída de explicação em duas secções: um esboço do plano físico e detalhes dos nós.

Exemplos

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.explain()
# == Physical Plan ==
# *(1) Scan ExistingRDD[age...,name...]

df.explain(extended=True)
# == Parsed Logical Plan ==
# ...
# == Analyzed Logical Plan ==
# ...
# == Optimized Logical Plan ==
# ...
# == Physical Plan ==
# ...

df.explain(mode="formatted")
# == Physical Plan ==
# * Scan ExistingRDD (...)
# (1) Scan ExistingRDD [codegen id : ...]
# Output [2]: [age..., name...]
# ...