observar

Defina métricas (nomeadas) a observar no DataFrame. Este método devolve um DataFrame 'observado' que devolve o mesmo resultado da entrada, com as seguintes garantias: irá calcular os agregados definidos (métricas) em todos os dados que estão a fluir pelo Conjunto de Dados nesse ponto. Irá reportar o valor das colunas agregadas definidas assim que atingirmos um ponto de conclusão.

Sintaxe

observe(observation: Union["Observation", str], *exprs: Column)

Parâmetros

Devoluções

DataFrame: o DataFrame observado.

Notes

Quando observation é Observation, este método só suporta consultas em lote. Quando observation é uma cadeia, este método funciona tanto para consultas em lote como para streaming. A execução contínua ainda não é suportada.

Exemplos

from pyspark.sql import Observation, functions as sf
df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
observation = Observation("my metrics")
observed_df = df.observe(observation,
    sf.count(sf.lit(1)).alias("count"), sf.max("age"))
observed_df.count()
# 2
observation.get
# {'count': 2, 'max(age)': 5}