jdbc (DataFrameReader)

JDBC URL DataFrameを介してアクセスできるデータベース テーブルを表すurlを構築します。 columnまたはpredicatesが指定されている場合、テーブルのパーティションは並列で取得されます。 columnpredicatesの両方を指定すると、columnが優先されます。

構文

jdbc(url, table, column=None, lowerBound=None, upperBound=None,
     numPartitions=None, predicates=None, properties=None)

パラメーター

パラメーター タイプ 説明
url str フォームの JDBC URL jdbc:subprotocol:subname
table str 外部データベース内のテーブルの名前。
column str、省略可能 パーティション分割に使用する列 ( partitionColumn オプションのエイリアス)。 lowerBoundupperBound、およびnumPartitionsが必要です。
lowerBound int または str、省略可能 パーティション分割の column の最小値。 columnが指定されている場合に必要です。
upperBound int または str、省略可能 パーティション分割の column の最大値。 columnが指定されている場合に必要です。
numPartitions int、省略可能 パーティションの数。 columnが指定されている場合に必要です。
predicates list、省略可能 WHEREの 1 つのパーティションを定義する、DataFrame句式の一覧。 columnが指定されている場合は無視されます。
properties dict、省略可能 JDBC 接続引数 (通常は 'user''password'を含む)。 たとえば、 {'user': 'SYSTEM', 'password': 'mypassword'} です。

返品

DataFrame

メモ

大規模なクラスターでは複数のパーティションを並列に作成しないでください。これにより、外部データベース システムがクラッシュする可能性があります。