get (Observação)

Obtém as métricas observadas.

Espera até que o conjunto de dados observado termine a sua primeira ação. Apenas o resultado da primeira ação está disponível. As ações subsequentes não alteram o resultado.

Sintaxe

get

Devoluções

dict

Exemplos

from pyspark.sql.functions import col, count, lit, max
from pyspark.sql import Observation

df = spark.createDataFrame([["Alice", 2], ["Bob", 5]], ["name", "age"])
observation = Observation("my metrics")
observed_df = df.observe(observation, count(lit(1)).alias("count"), max(col("age")))
observed_df.count()
# 2
observation.get
# {'count': 2, 'max(age)': 5}