Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Adiciona uma opção de gravação para a fonte de dados subjacente. Para obter algumas opções disponíveis, consulte Opções.
Sintaxe
option(key, value)
Parâmetros
| Parâmetro | Tipo | Descrição |
|---|---|---|
key |
str | A chave de opção. |
value |
str, int, float ou bool | O valor da opção. |
Opções
A tabela a seguir contém algumas opções de gravador:
| Chave | Formatos | Descrição |
|---|---|---|
arrayElementName |
XML | O nome do elemento para elementos de matriz que não têm nenhum nome explícito. Padrão: item. Aplica-se a xml (DataFrameWriter). |
attributePrefix |
XML | O prefixo anexado a nomes de campo que correspondem a atributos XML. Padrão: _. Aplica-se a xml (DataFrameWriter). |
avroSchema |
Avro | O esquema Avro completo como uma cadeia de caracteres JSON. Use essa opção para converter tipos SQL do Spark em tipos específicos do Avro. Aplica-se ao arquivo Avro. |
charToEscapeQuoteEscaping |
CSV | O caractere usado para escapar do caractere de escape quando ele difere do caractere de aspas. Padrão: \0 (não habilitado). Aplica-se ao csv (DataFrameWriter). |
clusterByAuto |
Lago Delta | Se deseja habilitar o clustering líquido automático, em que Azure Databricks seleciona colunas de clustering com base em padrões de consulta. Somente válido com mode("overwrite"). Não pode ser usado com append o modo. Padrão: false. Disponível no Databricks Runtime 16.4 e superior. Aplica-se ao uso de clustering líquido para tabelas. |
compression |
CSV, JSON, ORC, Parquet, Text, XML | Codec de compactação a ser usado ao gravar. Os valores válidos variam de acordo com o formato. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), orc (DataFrameWriter), parquet (DataFrameWriter), texto (DataFrameWriter), xml (DataFrameWriter). |
dateFormat |
CSV, JSON, XML | Formatar cadeia de caracteres para valores de coluna de data. Padrão: yyyy-MM-dd. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter). |
declaration |
XML | A cadeia de caracteres de declaração XML gravada na parte superior de cada arquivo de saída. Defina como uma cadeia de caracteres vazia para suprimir a declaração. Padrão: version="1.0" encoding="UTF-8" standalone="yes". Aplica-se a xml (DataFrameWriter). |
emptyValue |
CSV | A cadeia de caracteres gravada para valores vazios (não nulos). Padrão: "". Aplica-se ao csv (DataFrameWriter). |
encoding |
CSV, JSON, XML | A codificação de caracteres para os arquivos de saída. Padrão: UTF-8. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter). |
escape |
CSV | O caractere usado para escapar dos valores entre aspas. Padrão: \. Aplica-se ao csv (DataFrameWriter). |
escapeQuotes |
CSV | Se os caracteres de aspas devem ser escapados dentro dos valores de campo entre aspas. Padrão: true. Aplica-se ao csv (DataFrameWriter). |
header |
CSV | Se deve gravar nomes de coluna como a primeira linha da saída. Padrão: false. Aplica-se ao csv (DataFrameWriter). |
ignoreLeadingWhiteSpace |
CSV | Se deseja cortar o espaço em branco à esquerda de valores ao gravar. Padrão: false. Aplica-se ao csv (DataFrameWriter). |
ignoreNullFields |
JSON | Se deve omitir campos com valores nulos da saída JSON. Padrão: valor de spark.sql.jsonGenerator.ignoreNullFields. Aplica-se a json (DataFrameWriter). |
ignoreTrailingWhiteSpace |
CSV | Se deseja cortar o espaço em branco à direita dos valores ao gravar. Padrão: false. Aplica-se ao csv (DataFrameWriter). |
lineSep |
CSV, JSON, Texto | A cadeia de caracteres do separador de linha usada entre registros. Padrão: \n. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), texto (DataFrameWriter). |
mergeSchema |
Lago Delta | Se deseja habilitar a evolução do esquema para a operação de gravação. Novas colunas no DataFrame de origem são adicionadas ao esquema da tabela de destino. Aplica-se a acréscimos em lote e streaming. Aplica-se ao esquema de tabela De atualização. |
nullValue |
CSV | Cadeia de caracteres gravada para valores nulos. Padrão: "". Aplica-se ao csv (DataFrameWriter). |
nullValue |
XML | A cadeia de caracteres gravada para valores nulos. Padrão: null. Quando definido como null, atributos e elementos filho para campos nulos são omitidos. Aplica-se a xml (DataFrameWriter). |
overwriteSchema |
Lago Delta | Se deseja substituir o esquema de tabela e o particionamento ao substituir.
mode("overwrite") Requer sem replaceWhere. Não pode ser usado com partitionOverwriteMode. Aplica-se ao esquema de tabela De atualização. |
partitionOverwriteMode |
Lago Delta | O modo de substituição de partição. Defina isso para dynamic substituir apenas partições que contêm novos dados, deixando todas as outras partições inalteradas. Modo herdado; não há suporte na computação sem servidor ou no Databricks SQL. Aplica-se à substituição seletiva de dados com o Delta Lake. |
quote |
CSV | O caractere usado para citar valores de campo que contêm o separador. Padrão: ". Aplica-se ao csv (DataFrameWriter). |
quoteAll |
CSV | Se deve colocar todos os valores de campo entre aspas, independentemente do conteúdo. Padrão: false. Aplica-se ao csv (DataFrameWriter). |
recordName |
Avro | O nome do registro de nível superior no esquema Avro de saída. Padrão: topLevelRecord. Aplica-se ao arquivo Avro. |
recordNamespace |
Avro | O namespace para o registro de nível superior no esquema Avro de saída. Padrão: "". Aplica-se ao arquivo Avro. |
replaceWhere |
Lago Delta | Uma expressão de predicado. Substitui atomicamente apenas os registros que correspondem ao predicado. Aplica-se à substituição seletiva de dados com o Delta Lake. |
rootTag |
XML | A marca de elemento raiz que encapsula todos os elementos de linha na saída. Padrão: ROWS. Aplica-se a xml (DataFrameWriter). |
rowTag |
XML | A marca de elemento que representa uma linha na saída. Padrão: ROW. Aplica-se a xml (DataFrameWriter). |
sep |
CSV | O caractere delimitador de campo. Padrão: ,. Aplica-se ao csv (DataFrameWriter). |
timestampFormat |
CSV, JSON, XML | A cadeia de caracteres de formato para valores de coluna de carimbo de data/hora. Padrão: yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]. Aplica-se a csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter). |
txnAppId |
Lago Delta | Uma cadeia de caracteres exclusiva que identifica o aplicativo para gravações idempotentes em foreachBatch operações. Use em conjunto para txnVersion garantir gravações exatamente uma vez em várias tabelas delta lake. Aplica-se ao Uso foreachBatch para gravações de tabela idempotentes. |
txnVersion |
Lago Delta | Um número de aumento monotonicamente usado como a versão da transação para gravações idempotentes em foreachBatch operações. Use em conjunto para txnAppId garantir gravações exatamente uma vez em várias tabelas delta lake. Aplica-se ao Uso foreachBatch para gravações de tabela idempotentes. |
userMetadata |
Delta Lake, Apache Iceberg | Uma cadeia de caracteres definida pelo usuário acrescentada aos metadados de confirmação para a operação de gravação. Visível na saída de DESCRIBE HISTORY. Aplica-se a tabelas enriquecedoras com metadados personalizados. |
validateName |
XML | Se deve gerar uma exceção se um nome de coluna não for um identificador de elemento XML válido. Padrão: true. Aplica-se a xml (DataFrameWriter). |
valueTag |
XML | O nome do campo usado para dados de caractere em elementos XML que também têm atributos ou elementos filho. Padrão: _VALUE. Aplica-se a xml (DataFrameWriter). |
Devoluções
DataFrameWriterV2