Limitazioni della modalità in tempo reale

Questa pagina descrive le limitazioni note per la modalità in tempo reale in Structured Streaming.

Limitazioni dell'origine

Per Kinesis, la modalità in tempo reale non supporta la modalità di polling. Inoltre, le ripartizioni frequenti potrebbero influire negativamente sulla latenza.

Limitazioni dell'unione

L'operatore Union presenta alcune limitazioni:

• L'unione automatica non è supportata:
  • Per Kafka, non è possibile usare lo stesso oggetto frame di dati di origine e unire frame di dati derivati da esso. Come soluzione alternativa, usare dataframe diversi che leggono dalla stessa origine.
  • Per La Classe Non è possibile unire frame di dati derivati dalla stessa origine Dios con la stessa configurazione. Come soluzione alternativa, invece di usare dataframe diversi, è possibile assegnare un'opzione diversa consumerName a ogni dataframe.
• Gli operatori con stato (ad esempio, aggregate, deduplicate, transformWithState) non possono essere definiti prima dell'unione.
• L'unione con le fonti batch non è supportata.

mapPartitions Limitazione

mapPartitions in Scala e api di Python simili (mapInPandas, mapInArrow) accetta un iteratore dell'intera partizione di input e produce un iteratore dell'intero output con mapping arbitrario tra input e output. Queste API possono causare problemi di prestazioni in modalità in tempo reale bloccando l'intero output, aumentando la latenza. La semantica di queste API non supporta adeguatamente la propagazione della filigrana.

Utilizzare funzioni definite dall'utente scalari combinate con Trasforma tipi di dati complessi o filter per ottenere funzionalità simili.