start (DataStreamWriter)

Transmite o conteúdo do DataFrame para uma fonte de dados e devolve um objeto StreamingQuery.

Sintaxe

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path STR, opcional Path num sistema de ficheiros suportado por Hadoop.
format STR, opcional O formato usado para guardar.
outputMode STR, opcional Como os dados são escritos no sumidouro: append, complete, ou update.
partitionBy STR ou lista, opcional Nomes das colunas de partição.
queryName STR, opcional Nome único para a consulta.
**options
Todas as outras opções de cordas. Prover checkpointLocation para a maioria dos fluxos; não é necessário para um memory fluxo.

Devoluções

StreamingQuery

Exemplos

df = spark.readStream.format("rate").load()

Exemplo básico:

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Com um gatilho e parâmetros adicionais:

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()
  • Last updated on