option (DataFrameWriterV2)

Adiciona uma opção de gravação para a fonte de dados subjacente. Para obter algumas opções disponíveis, consulte Opções.

Sintaxe

option(key, value)

Parâmetros

Parâmetro Tipo Descrição
key str A chave de opção.
value str, int, float ou bool O valor da opção.

Opções

A tabela a seguir contém algumas opções de gravador:

Chave Formatos Descrição
arrayElementName XML O nome do elemento para elementos de matriz que não têm nenhum nome explícito. Padrão: item. Aplica-se a xml (DataFrameWriter).
attributePrefix XML O prefixo anexado a nomes de campo que correspondem a atributos XML. Padrão: _. Aplica-se a xml (DataFrameWriter).
avroSchema Avro O esquema Avro completo como uma cadeia de caracteres JSON. Use essa opção para converter tipos SQL do Spark em tipos específicos do Avro. Aplica-se ao arquivo Avro.
charToEscapeQuoteEscaping CSV O caractere usado para escapar do caractere de escape quando ele difere do caractere de aspas. Padrão: \0 (não habilitado). Aplica-se ao csv (DataFrameWriter).
clusterByAuto Lago Delta Se deseja habilitar o clustering líquido automático, em que Azure Databricks seleciona colunas de clustering com base em padrões de consulta. Somente válido com mode("overwrite"). Não pode ser usado com append o modo. Padrão: false. Disponível no Databricks Runtime 16.4 e superior. Aplica-se ao uso de clustering líquido para tabelas.
compression CSV, JSON, ORC, Parquet, Text, XML Codec de compactação a ser usado ao gravar. Os valores válidos variam de acordo com o formato. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), orc (DataFrameWriter), parquet (DataFrameWriter), texto (DataFrameWriter), xml (DataFrameWriter).
dateFormat CSV, JSON, XML Formatar cadeia de caracteres para valores de coluna de data. Padrão: yyyy-MM-dd. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter).
declaration XML A cadeia de caracteres de declaração XML gravada na parte superior de cada arquivo de saída. Defina como uma cadeia de caracteres vazia para suprimir a declaração. Padrão: version="1.0" encoding="UTF-8" standalone="yes". Aplica-se a xml (DataFrameWriter).
emptyValue CSV A cadeia de caracteres gravada para valores vazios (não nulos). Padrão: "". Aplica-se ao csv (DataFrameWriter).
encoding CSV, JSON, XML A codificação de caracteres para os arquivos de saída. Padrão: UTF-8. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter).
escape CSV O caractere usado para escapar dos valores entre aspas. Padrão: \. Aplica-se ao csv (DataFrameWriter).
escapeQuotes CSV Se os caracteres de aspas devem ser escapados dentro dos valores de campo entre aspas. Padrão: true. Aplica-se ao csv (DataFrameWriter).
header CSV Se deve gravar nomes de coluna como a primeira linha da saída. Padrão: false. Aplica-se ao csv (DataFrameWriter).
ignoreLeadingWhiteSpace CSV Se deseja cortar o espaço em branco à esquerda de valores ao gravar. Padrão: false. Aplica-se ao csv (DataFrameWriter).
ignoreNullFields JSON Se deve omitir campos com valores nulos da saída JSON. Padrão: valor de spark.sql.jsonGenerator.ignoreNullFields. Aplica-se a json (DataFrameWriter).
ignoreTrailingWhiteSpace CSV Se deseja cortar o espaço em branco à direita dos valores ao gravar. Padrão: false. Aplica-se ao csv (DataFrameWriter).
lineSep CSV, JSON, Texto A cadeia de caracteres do separador de linha usada entre registros. Padrão: \n. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), texto (DataFrameWriter).
mergeSchema Lago Delta Se deseja habilitar a evolução do esquema para a operação de gravação. Novas colunas no DataFrame de origem são adicionadas ao esquema da tabela de destino. Aplica-se a acréscimos em lote e streaming. Aplica-se ao esquema de tabela De atualização.
nullValue CSV Cadeia de caracteres gravada para valores nulos. Padrão: "". Aplica-se ao csv (DataFrameWriter).
nullValue XML A cadeia de caracteres gravada para valores nulos. Padrão: null. Quando definido como null, atributos e elementos filho para campos nulos são omitidos. Aplica-se a xml (DataFrameWriter).
overwriteSchema Lago Delta Se deseja substituir o esquema de tabela e o particionamento ao substituir. mode("overwrite") Requer sem replaceWhere. Não pode ser usado com partitionOverwriteMode. Aplica-se ao esquema de tabela De atualização.
partitionOverwriteMode Lago Delta O modo de substituição de partição. Defina isso para dynamic substituir apenas partições que contêm novos dados, deixando todas as outras partições inalteradas. Modo herdado; não há suporte na computação sem servidor ou no Databricks SQL. Aplica-se à substituição seletiva de dados com o Delta Lake.
quote CSV O caractere usado para citar valores de campo que contêm o separador. Padrão: ". Aplica-se ao csv (DataFrameWriter).
quoteAll CSV Se deve colocar todos os valores de campo entre aspas, independentemente do conteúdo. Padrão: false. Aplica-se ao csv (DataFrameWriter).
recordName Avro O nome do registro de nível superior no esquema Avro de saída. Padrão: topLevelRecord. Aplica-se ao arquivo Avro.
recordNamespace Avro O namespace para o registro de nível superior no esquema Avro de saída. Padrão: "". Aplica-se ao arquivo Avro.
replaceWhere Lago Delta Uma expressão de predicado. Substitui atomicamente apenas os registros que correspondem ao predicado. Aplica-se à substituição seletiva de dados com o Delta Lake.
rootTag XML A marca de elemento raiz que encapsula todos os elementos de linha na saída. Padrão: ROWS. Aplica-se a xml (DataFrameWriter).
rowTag XML A marca de elemento que representa uma linha na saída. Padrão: ROW. Aplica-se a xml (DataFrameWriter).
sep CSV O caractere delimitador de campo. Padrão: ,. Aplica-se ao csv (DataFrameWriter).
timestampFormat CSV, JSON, XML A cadeia de caracteres de formato para valores de coluna de carimbo de data/hora. Padrão: yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter).
txnAppId Lago Delta Uma cadeia de caracteres exclusiva que identifica o aplicativo para gravações idempotentes em foreachBatch operações. Use em conjunto para txnVersion garantir gravações exatamente uma vez em várias tabelas delta lake. Aplica-se ao Uso foreachBatch para gravações de tabela idempotentes.
txnVersion Lago Delta Um número de aumento monotonicamente usado como a versão da transação para gravações idempotentes em foreachBatch operações. Use em conjunto para txnAppId garantir gravações exatamente uma vez em várias tabelas delta lake. Aplica-se ao Uso foreachBatch para gravações de tabela idempotentes.
userMetadata Delta Lake, Apache Iceberg Uma cadeia de caracteres definida pelo usuário acrescentada aos metadados de confirmação para a operação de gravação. Visível na saída de DESCRIBE HISTORY. Aplica-se a tabelas enriquecedoras com metadados personalizados.
validateName XML Se deve gerar uma exceção se um nome de coluna não for um identificador de elemento XML válido. Padrão: true. Aplica-se a xml (DataFrameWriter).
valueTag XML O nome do campo usado para dados de caractere em elementos XML que também têm atributos ou elementos filho. Padrão: _VALUE. Aplica-se a xml (DataFrameWriter).

Devoluções

DataFrameWriterV2