providers (DataFrameReader)

Erstellt eine DataFrame Darstellung der Datenbanktabelle, auf die über DIE URL DER DATEI ZUgegriffen urlwerden kann. Partitionen der Tabelle werden parallel abgerufen, wenn entweder column oder predicates angegeben wird. Wenn beide column und predicates angegeben werden, column hat dies Vorrang.

Syntax

jdbc(url, table, column=None, lowerBound=None, upperBound=None,
     numPartitions=None, predicates=None, properties=None)

Parameter

Parameter Typ Beschreibung
url str Die URL DES FORMULARs jdbc:subprotocol:subname.
table str Der Name der Tabelle in der externen Datenbank.
column str, optional Die Spalte, die für die Partitionierung verwendet werden soll (Alias für die partitionColumn Option). Erfordert lowerBound, upperBound, und numPartitions.
lowerBound int oder str, optional Der Mindestwert für column die Partitionierung. Erforderlich, wenn column angegeben.
upperBound int oder str, optional Der maximal zulässige column Wert für die Partitionierung. Erforderlich, wenn column angegeben.
numPartitions int, optional Die Anzahl der Partitionen. Erforderlich, wenn column angegeben.
predicates liste, optional Eine Liste der WHERE Klauselausdrücke, die jeweils eine Partition der DataFrame. Wird ignoriert, wenn column angegeben ist.
properties Diktat, optional CONNECTION-Argumente, in der Regel einschließlich 'user' und 'password'. Beispiel: {'user': 'SYSTEM', 'password': 'mypassword'}.

Rückkehr

DataFrame

Hinweise

Vermeiden Sie, dass zu viele Partitionen parallel auf einem großen Cluster erstellt werden, da dies externe Datenbanksysteme abstürzen kann.

  • Last updated on