スキーマ

入力スキーマを指定します。 一部のデータ ソース (JSON など) では、データから入力スキーマを自動的に推論できます。 ここでスキーマを指定することで、基になるデータ ソースはスキーマ推論手順をスキップできるため、データの読み込みが高速化されます。

構文

schema(schema)

パラメーター

パラメーター タイプ 説明
schema StructType または str StructType オブジェクトまたは DDL 形式の文字列 ('col0 INT, col1 DOUBLE' など)。

返品

DataFrameReader

例示

CSV ファイルを読み取るときにスキーマを指定します。

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)
  • Last updated on