Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Dieser Abschnitt enthält Referenz- und Anweisungen für Pipelineentwickler.
Datenladevorgänge und Transformationen werden in Pipelines durch Abfragen implementiert, die Streamingtabellen und materialisierte Ansichten definieren. Um diese Abfragen zu implementieren, unterstützt Lakeflow Spark Declarative Pipelines SQL- und Python-Schnittstellen. Da diese Schnittstellen für die meisten Anwendungsfälle für die Datenverarbeitung gleichwertige Funktionen bereitstellen, können Pipelineentwickler die Schnittstelle auswählen, mit der sie am besten vertraut sind.
Python-Entwicklung
Erstellen Sie Pipelines mit Python Code.
| Thema | Description |
|---|---|
| Pipeline-Code mit Python entwickeln | Eine Übersicht über die Entwicklung von Pipelines in Python. |
| Lakeflow Spark Declarative Pipelines Python Sprachreferenz | Python Referenzdokumentation für das Modul pipelines. |
| Manage Python Abhängigkeiten für Pipelines | Anweisungen zum Verwalten von Python Bibliotheken in Pipelines. |
| Importieren Python Module aus Git-Ordnern oder Arbeitsbereichsdateien | Anweisungen zur Verwendung von Python Modulen, die Sie in Azure Databricks gespeichert haben. |
SQL-Entwicklung
Erstellen Sie Pipelines mit SQL-Code.
| Thema | Description |
|---|---|
| Entwickeln von Lakeflow Spark Declarative Pipelines-Code mit SQL | Eine Übersicht über die Entwicklung von Pipelines in SQL. |
| SQL-Sprachreferenz für Pipeline | Referenzdokumentation für SQL-Syntax für Lakeflow Spark Declarative Pipelines. |
| Verwenden von Pipelines in Databricks SQL | Verwenden Sie Databricks SQL, um mit Pipelines zu arbeiten. |
Weitere Entwicklungsthemen
In den folgenden Themen werden weitere Möglichkeiten zum Entwickeln von Piplines beschrieben.
| Thema | Description |
|---|---|
| Konvertieren einer Pipeline in ein Bündelprojekt | Konvertieren Sie eine vorhandene Pipeline in ein Bundle, mit dem Sie Ihre Datenverarbeitungskonfiguration in einer quellgesteuerten YAML-Datei verwalten können, um die Wartung und automatisierte Bereitstellungen in Zielumgebungen zu vereinfachen. |
| Metaprogrammierung mit Lakeflow Spark Declarative Pipelines |
Erstellen Sie Pipelines mit dlt-meta. Verwenden Sie die bibliothek open source dlt-meta, um die Erstellung von Pipelines mit einem metadatengesteuerten Framework zu automatisieren.Lernprogramm: Erstellen mehrerer Flüsse mit unterschiedlichen Parametern. Erstellen Sie mehrere Flüsse in einer Schleife in Python. |
| Entwickeln von Pipelinecode in Ihrer lokalen Entwicklungsumgebung | Eine Übersicht über optionen für die lokale Entwicklung von Pipelines. |