UNION

これと別の DataFrame 内の行の和集合を含む新しい DataFrame を返します。

構文

union(other: "DataFrame")

パラメーター

返品

DataFrame: 対応する列を含む結合された行を含む新しい DataFrame。

メモ

このメソッドは、要素の自動重複除去を行わず、両方の DataFrame オブジェクトの行の SQL スタイルのセット和集合を実行します。

distinct()メソッドを使用して、行の重複除去を実行します。

このメソッドは、SQL の標準的な動作に従って、(名前ではなく) 位置によって列を解決します。

例示

df1 = spark.createDataFrame([(1, 'A'), (2, 'B')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2)
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+

df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2).distinct().sort("id")
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+