lateralJoin

指定された結合式を使用して、別の DataFrame との横結合。

構文

lateralJoin(other: "DataFrame", on: Optional[Column] = None, how: Optional[str] = None)

パラメーター

パラメーター タイプ 説明
other DataFrame 結合の右側。
on 列(省略可能) 結合式 (列)。
how str、省略可能 既定の inner。 inner、cross、left、leftouter、left_outerのいずれかである必要があります。

返品

DataFrame: 結合された DataFrame。

メモ

横結合 (相関結合とも呼ばれます) は結合の一種であり、1 つの DataFrame の各行がサブクエリへの入力として使用されるか、その行に固有の結果を計算する派生テーブルとして使用されます。 右側の DataFrame は、左側の DataFrameの現在の行の列を参照できるため、標準結合よりも複雑でコンテキストに依存する結果が可能になります。

例示

from pyspark.sql import functions as sf
from pyspark.sql import Row
customers_data = [
    Row(customer_id=1, name="Alice"), Row(customer_id=2, name="Bob"),
    Row(customer_id=3, name="Charlie"), Row(customer_id=4, name="Diana")
]
customers = spark.createDataFrame(customers_data)
orders_data = [
    Row(order_id=101, customer_id=1, order_date="2024-01-10",
        items=[Row(product="laptop", quantity=5), Row(product="mouse", quantity=12)]),
    Row(order_id=102, customer_id=1, order_date="2024-02-15",
        items=[Row(product="phone", quantity=2), Row(product="charger", quantity=15)]),
    Row(order_id=105, customer_id=1, order_date="2024-03-20",
        items=[Row(product="tablet", quantity=4)]),
    Row(order_id=103, customer_id=2, order_date="2024-01-12",
        items=[Row(product="tablet", quantity=8)]),
    Row(order_id=104, customer_id=2, order_date="2024-03-05",
        items=[Row(product="laptop", quantity=7)]),
    Row(order_id=106, customer_id=3, order_date="2024-04-05",
        items=[Row(product="monitor", quantity=1)]),
]
orders = spark.createDataFrame(orders_data)

customers.join(orders, "customer_id").lateralJoin(
    spark.tvf.explode(sf.col("items").outer()).select("col.*")
).select(
    "customer_id", "name", "order_id", "order_date", "product", "quantity"
).orderBy("customer_id", "order_id", "product").show()
# +-----------+-------+--------+----------+-------+--------+
# |customer_id|   name|order_id|order_date|product|quantity|
# +-----------+-------+--------+----------+-------+--------+
# |          1|  Alice|     101|2024-01-10| laptop|       5|
# |          1|  Alice|     101|2024-01-10|  mouse|      12|
# ...
# +-----------+-------+--------+----------+-------+--------+
  • Last updated on