この DataFrame の内容を PyArrow pyarrow.Tableとして返します。
Databricks Runtime 15.3 で追加されました
構文
toArrow()
返品
pyarrow.Table
メモ
このメソッドは、すべてのデータがドライバーのメモリに読み込まれるため、結果として得られる PyArrow pyarrow.Table が小さいと予想される場合にのみ使用する必要があります。
これは、PyArrow がインストールされ、使用可能な場合にのみ使用できます。
この API は開発者 API です。
例示
df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]