Partições (DataSourceStreamReader)

Devolve uma lista de InputPartition objetos com os deslocamentos de início e fim.

Cada uma InputPartition representa uma divisão de dados que pode ser processada por uma tarefa do Spark. Quando chamado com um intervalo de deslocamento vazio onde start == end, este método deve devolver uma sequência vazia.

Adicionado no Databricks Runtime 15.2

Sintaxe

partitions(start: dict, end: dict)

Parâmetros

Parâmetro Tipo Descrição
start dicionário O deslocamento inicial do microbatch para planear a partição.
end dicionário O deslocamento final do microbatch para planear a partição.

Devoluções

Sequence[InputPartition]

Uma sequência de partições para esta fonte de dados. Cada valor de partição deve ser uma instância ou InputPartition uma subclasse da mesma.