toArrow

Devolve o conteúdo deste DataFrame como PyArrow pyarrow.Table.

Adicionado no Databricks Runtime 15.3

Sintaxe

toArrow()

Devoluções

pyarrow.Table

Notes

Este método só deve ser usado se se esperar que o PyArrow pyarrow.Table resultante seja pequeno, pois todos os dados são carregados na memória do driver.

Isto só está disponível se o PyArrow estiver instalado e disponível.

Esta API é uma API para programadores.

Exemplos

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]