ler (DataSourceStreamReader)

Gera dados para uma dada partição e devolve um iterador de tuplas ou linhas.

Este método é invocado uma vez por partição para ler os dados. A implementação deste método é necessária para leitores de streams. Pode inicializar quaisquer recursos não serializáveis necessários para ler dados da fonte de dados dentro deste método.

Adicionado no Databricks Runtime 15.2

Sintaxe

read(partition: InputPartition)

Parâmetros

Parâmetro Tipo Descrição
partition InputPartition A partição para ler. Deve ser um dos valores de partição devolvidos por partitions().

Devoluções

Iterator[Tuple] ou Iterator[RecordBatch]

Um iterador de tuplas ou linhas. Cada tupla ou linha será convertida numa linha no DataFrame final. Também pode devolver um iterador de objetos PyArrow RecordBatch se a fonte de dados o suportar.

Notes

Este método é estático e sem estado. Não aceda a membros da classe mutável nem mantenha estado em memória entre diferentes invocações de read().