DataFrame 内のすべてのレコードを Rowの一覧として返します。
構文
collect()
返品
list: Row オブジェクトのリスト。各オブジェクトは DataFrame 内の行を表します。
メモ
このメソッドは、すべてのデータがドライバーのメモリに読み込まれるため、結果のリストが小さいと予想される場合にのみ使用する必要があります。
例示
df = spark.createDataFrame([(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.collect()
# [Row(age=14, name='Tom'), Row(age=23, name='Alice'), Row(age=16, name='Bob')]
df.filter(df.age > 15).collect()
# [Row(age=23, name='Alice'), Row(age=16, name='Bob')]
df.select("name").collect()
# [Row(name='Tom'), Row(name='Alice'), Row(name='Bob')]
from pyspark.sql.functions import upper
df.select(upper(df.name)).collect()
# [Row(upper(name)='TOM'), Row(upper(name)='ALICE'), Row(upper(name)='BOB')]
rows = df.collect()
[row["name"] for row in rows]
# ['Tom', 'Alice', 'Bob']
[row.asDict() for row in rows]
# [{'age': 14, 'name': 'Tom'}, {'age': 23, 'name': 'Alice'}, {'age': 16, 'name': 'Bob'}]