jdbc (DataFrameReader)

Constrói a DataFrame que representa a tabela da base de dados acessível via URL urlJDBC . As partições da tabela são recuperadas em paralelo se for especificado qualquer column um dos ou predicates Se ambos column forem predicates especificados, column tem prioridade.

Sintaxe

jdbc(url, table, column=None, lowerBound=None, upperBound=None,
     numPartitions=None, predicates=None, properties=None)

Parâmetros

Parâmetro Tipo Descrição
url str O URL JDBC do formulário jdbc:subprotocol:subname.
table str O nome da tabela na base de dados externa.
column STR, opcional A coluna a usar para particionamento (alias para a partitionColumn opção). Requer lowerBound, upperBound, e numPartitions.
lowerBound INT ou STR, opcional O valor mínimo de column para particionamento. É obrigatório quando column é especificado.
upperBound INT ou STR, opcional O valor máximo de column para particionamento. É obrigatório quando column é especificado.
numPartitions int, opcional O número de partições. É obrigatório quando column é especificado.
predicates lista, opcional Uma lista de WHERE expressões de cláusulas, cada uma definindo uma partição do DataFrame. Ignorado se column for especificado.
properties Dit, opcional Argumentos de ligação JDBC, normalmente incluindo 'user' e 'password'. Por exemplo, {'user': 'SYSTEM', 'password': 'mypassword'}.

Devoluções

DataFrame

Notes

Evite criar demasiadas partições em paralelo num cluster grande, pois isso pode causar falhas nos sistemas de bases de dados externos.

  • Last updated on