nome (DataStreamReader)

Atribui um nome à fonte de streaming para a evolução dos pontos de controlo. Isto permite que as consultas de streaming evoluam ao permitir que as fontes sejam reordenadas ou adicionadas sem quebrar a compatibilidade dos checkpoints. Quando a evolução da fonte está ativada, todas as fontes numa consulta devem ser nomeadas.

Sintaxe

name(source_name)

Parâmetros

Parâmetro Tipo Descrição
source_name str O nome desta fonte de streaming. Deve conter apenas letras ASCII (a-z, A-Z), dígitos (0-9) e sublinhados (_).

Devoluções

DataStreamReader

Notes

Requer que a evolução da fonte de streaming esteja ativada através da spark.sql.streaming.enableSourceEvolution configuração.

Exemplos

Nomeie duas fontes e unifique-as:

df1 = spark.readStream.format("rate").name("source1").load()
df2 = spark.readStream.format("rate").name("source2").load()
query = df1.union(df2).writeStream.format("console").start()

Nomes de fontes válidos e inválidos:

# Valid names
spark.readStream.format("rate").name("mySource").load()
spark.readStream.format("rate").name("my_source_123").load()

# Invalid name — raises AnalysisException
spark.readStream.format("rate").name("my-source").load()
  • Last updated on