texto (DataFrameReader)

Carrega ficheiros de texto e retorna um DataFrame cujo esquema começa com uma coluna string chamada value, seguida de colunas particionadas, se houver. Os ficheiros de texto devem ser codificados como UTF-8. Por defeito, cada linha no ficheiro de texto é uma nova linha no DataFrame resultante.

Sintaxe

text(paths, wholetext=False, lineSep=None, **options)

Parâmetros

Parâmetro Tipo Descrição
paths str ou lista Um ou mais caminhos de entrada.
wholetext bool, opcional Se True, lê cada ficheiro como uma única linha. A predefinição é False.
lineSep STR, opcional O separador de linha a usar. O padrão é '\n', '\r', ou '\r\n'.

Devoluções

DataFrame

Exemplos

Escreve um DataFrame num ficheiro de texto e lê-o.

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+
  • Last updated on