toArrow

Gibt den Inhalt dieses DataFrames als PyArrow pyarrow.Tablezurück.

Hinzugefügt in Databricks Runtime 15.3

Syntax

toArrow()

Rückkehr

pyarrow.Table

Hinweise

Diese Methode sollte nur verwendet werden, wenn der resultierende PyArrow-Vorgang pyarrow.Table klein sein wird, da alle Daten in den Speicher des Treibers geladen werden.

Dies ist nur verfügbar, wenn PyArrow installiert und verfügbar ist.

Diese API ist eine Entwickler-API.

Beispiele

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]