チェックポイントの進化のためにストリーミング ソースに名前を割り当てます。 これにより、チェックポイントの互換性を損なうことなくソースを並べ替えたり追加したりできるようにすることで、ストリーミング クエリを進化させることができます。 ソースの進化が有効になっている場合、クエリ内のすべてのソースに名前を付ける必要があります。
構文
name(source_name)
パラメーター
| パラメーター | タイプ | 説明 |
|---|---|---|
source_name |
str | このストリーミング ソースの名前。 ASCII 文字 (a ~ z、A ~ Z)、数字 (0 ~ 9)、アンダースコア (_) のみを含める必要があります。 |
返品
DataStreamReader
メモ
spark.sql.streaming.enableSourceEvolution構成を使用してストリーミング ソースの進化を有効にする必要があります。
例示
2 つのソースに名前を付け、それらを結合します。
df1 = spark.readStream.format("rate").name("source1").load()
df2 = spark.readStream.format("rate").name("source2").load()
query = df1.union(df2).writeStream.format("console").start()
有効なソース名と無効なソース名:
# Valid names
spark.readStream.format("rate").name("mySource").load()
spark.readStream.format("rate").name("my_source_123").load()
# Invalid name — raises AnalysisException
spark.readStream.format("rate").name("my-source").load()