既定では、フローを作成すると、パイプラインによって結果のクエリが Delta テーブル (通常は具体化されたビューまたはストリーミング テーブル) に書き込まれます。 パイプラインには、さまざまなシンクに書き込んだり、Python で書き込むことができる任意のターゲット (またはターゲット) にプログラムでデータを変換したりストリームしたりするための機能も用意されています。
次のトピックでは、パイプラインのシンク機能について説明します。
| トピック | Description |
|---|---|
| Lakeflow Spark 宣言型パイプライン シンク |
sink API とフローを使用して、パイプラインによって変換されたレコードを、サポートされている外部データ シンクに書き込みます。 外部データ シンクには、Unity カタログのマネージド テーブルと外部テーブル、および Apache Kafka や Azure Event Hubs などのイベント ストリーミング サービスが含まれます。 |
| Python カスタム シンク | python カスタム データ ソースと共に sink API を使用して、任意のデータ ストアに書き込みます。 |
| ForEachBatch シンク |
foreachBatch API を使用して、任意のデータ ストアに書き込み、データに対して他の変換を実行するか、1 つのフロー内の複数のシンクに書き込みます。 |