Was ist Dataflow Gen2?

Datenflüsse sind ein cloudbasiertes Tool, mit dem Sie Daten vorbereiten und transformieren können, ohne Code zu schreiben. Sie bieten eine Low-Code-Entwicklungsplattform, die Daten aus Hunderten von Datenquellen aufnimmt, Ihre Daten mit über 300 Transformationen umwandelt und die resultierenden Daten in mehrere Zielorte lädt. Stellen Sie sich sie als Ihren persönlichen Daten-Assistenten vor, der eine Verbindung mit Hunderten verschiedener Datenquellen herstellen kann, unübersichtliche Daten bereinigen und genau dort bereitstellen kann, wo Sie sie benötigen. Ganz gleich, ob Sie Bürger oder professionelle Entwickler sind, Datenflüsse ermöglichen es Ihnen, Daten aus einer Vielzahl von Datenquellen wie Datenbanken, Data-Warehouse, Lakehouse, Echtzeitdaten aufzunehmen, vorzubereiten und zu transformieren.

Dataflow Gen2 ist die neuere, leistungsfähigere Version, die zusammen mit dem ursprünglichen Power BI Dataflow (jetzt Gen1 genannt) funktioniert. Entwickelt mit der bekannten Power Query Erfahrung, die in mehreren Microsoft-Produkten und -Diensten wie Excel, Power BI, Power Platform und Dynamics 365 verfügbar ist, bietet Dataflow Gen2 erweiterte Funktionen, bessere Leistung und schnelle Kopiermöglichkeiten, um Daten schnell einlesen und transformieren zu können. Wenn Sie neu beginnen, empfehlen wir Dataflow Gen2 für die erweiterten Features und eine bessere Leistung.

Was können Sie mit Datenflüssen tun?

Mit Datenflüssen können Sie:

• Stellen Sie eine Verbindung mit Ihren Daten her: Abrufen von Informationen aus Datenbanken, Dateien, Webdiensten und mehr. Sie können auch eine erneute Verbindung mit zuletzt verwendeten Quellen herstellen.
• Transformieren Sie Ihre Daten: Bereinigen, Filtern, Kombinieren und Neuformen Ihrer Daten mithilfe einer visuellen Schnittstelle.
• Daten überall laden: Senden Sie Ihre transformierten Daten an Datenbanken, Data Warehouses oder Cloud-Speicher.
• Automatisieren Sie den Vorgang: Richten Sie Zeitpläne ein, damit Ihre Daten immer aktuell bleiben und up-to-date.

Datenflussfeatures

Hier sind die Features, die zwischen Dataflow Gen2 und Gen1 verfügbar sind:

Upgrades für Dataflow Gen2

In den nächsten Abschnitten sind einige der wichtigsten Verbesserungen in Dataflow Gen2 gegenüber Gen1, um Ihre Datenvorbereitungsaufgaben einfacher und effizienter zu gestalten.

Gen2 ist einfacher zu erstellen und zu verwenden

Dataflow Gen2 fühlt sich vertraut an, wenn Sie zuvor Power Query verwendet haben. Wir haben den Prozess optimiert, damit Sie schneller starten können. Sie werden schrittweise geführt, wenn Sie Daten in Ihren Datenfluss integrieren, und wir haben die Anzahl der Schritte reduziert, die zum Erstellen Ihrer Datenflüsse erforderlich sind.

AutoSpeichern hält Ihre Arbeit sicher

Dataflow Gen2 speichert Ihre Änderungen automatisch während der Arbeit. Sie können von Ihrem Computer weggehen, Ihren Browser schließen oder eine Internetverbindung verlieren, ohne sich Gedanken über den Verlust Ihres Fortschritts machen zu müssen. Wenn Sie zurückkehren, ist alles direkt an der Stelle, an der Sie es verlassen haben.

Nachdem Sie mit dem Erstellen des Datenflusses fertig sind, können Sie Ihre Änderungen veröffentlichen. Die Veröffentlichung speichert Ihre Arbeit und führt Hintergrundüberprüfungen aus, sodass Sie nicht darauf warten müssen, bis alles ausgecheckt ist, bevor Sie mit der nächsten Aufgabe fortfahren.

Weitere Informationen zur Funktionsweise des Speicherns finden Sie unter "Speichern eines Entwurfs Ihres Datenflusses".

Senden von Daten überall dort, wo Sie sie benötigen

Während Dataflow Gen1 transformierte Daten in seinem eigenen internen Speicher speichert (auf den Sie über den Dataflow-Connector zugreifen können), bietet Dataflow Gen2 die Flexibilität, diesen Speicher zu verwenden oder Ihre Daten an verschiedene Ziele zu senden.

Diese Flexibilität eröffnet neue Möglichkeiten. Beispielsweise können Sie folgende Aktionen ausführen:

• Verwenden Sie einen Datenfluss, um Daten in ein Seehaus zu laden und dann mit einem Notizbuch zu analysieren.
• Laden von Daten in eine Azure SQL-Datenbank, und verwenden Sie dann eine Pipeline, um sie in ein Data Warehouse zu verschieben.

Dataflow Gen2 unterstützt derzeit diese Ziele:

• Azure SQL Datenbanken
• Azure Data Explorer (Kusto)
• Azure Datalake Gen2
• Fabric Lakehouse Tabellen
• Fabric Lakehouse-Dateien
• Stofflagerhaus
• Fabric KQL-Datenbank
• Fabric SQL-Datenbank
• SharePoint Dateien
• Snowflake-Datenbank

Weitere Informationen zu den verfügbaren Datenzielen finden Sie unter Dataflow Gen2-Datenziele und verwaltete Einstellungen.

Bessere Überwachung und Aktualisierungsnachverfolgung

Dataflow Gen2 bietet Ihnen ein klareres Bild darüber, was mit Ihren Datenaktualisierungen passiert. Wir haben den Monitoring Hub integriert und die Aktualisierungsverlaufserfahrung verbessert, sodass Sie den Status und die Leistung Ihrer Datenflüsse nachverfolgen können.

Arbeitet nahtlos mit Pipelines

mit Pipelines können Sie Aktivitäten gruppieren, um größere Aufgaben auszuführen. Stellen Sie sich sie als Workflows vor, die Daten kopieren, SQL-Abfragen ausführen, gespeicherte Prozeduren ausführen oder Python Notizbücher ausführen können.

Sie können mehrere Aktivitäten in einer Pipeline verbinden und festlegen, dass sie in einem Zeitplan ausgeführt werden soll. Beispielsweise können Sie jeden Montag eine Pipeline verwenden, um Daten aus einem Azure Blob abzurufen und zu bereinigen und dann einen Dataflow Gen2 auszulösen, um die Protokolldaten zu analysieren. Oder am Ende des Monats können Sie Daten aus einem Azure Blob in eine Azure SQL-Datenbank kopieren und dann eine gespeicherte Prozedur für diese Datenbank ausführen.

Weitere Informationen zum Verbinden von Datenflüssen mit pipelines finden Sie unter Dataflow-Aktivitäten.

Hochleistungsrechnen

Dataflow Gen2 verwendet erweiterte Compute Fabric SQL Compute Engines, um große Datenmengen effizient zu verarbeiten. Um das Funktionieren zu ermöglichen, erstellt Dataflow Gen2 sowohl Lakehouse- als auch Warehouse-Elemente in Ihrem Arbeitsbereich und verwendet sie, um Daten zu speichern und darauf zuzugreifen, um die Leistung aller Ihrer Datenflüsse zu verbessern.

Suchen und Wiederverwenden neuer Datenquellen

Dataflow Gen2 enthält ein Modul "Zuletzt verwendete Daten ", in dem Elemente aufgezeichnet werden, die Sie zuvor verwendet haben, z. B. Tabellen, Dateien, Ordner, Datenbanken und Blätter, und sie direkt in den Bearbeitungsbereich "Dataflow Gen2" laden können. Sie können über das Menüband Power Query oder über die Benutzeroberfläche "Modern Get Data" auf zuletzt verwendete Daten zugreifen, sodass Sie schnell zu den benötigten Daten zurückkehren können, ohne Ihre Verbindungen neu zu konfigurieren.

Sie können auch in jedem beliebigen Eintrag "Zuletzt verwendete Daten" die Option " Speicherort durchsuchen" auswählen, um weitere verwandte Elemente innerhalb desselben Ordners oder derselben Datenbank zu durchsuchen und auszuwählen, wodurch die Arbeit mit mehreren Ressourcen an demselben Speicherort erleichtert wird.

Copilot für Dataflow Gen2

Dataflow Gen2 lässt sich in Fabric mit Microsoft Copilot integrieren, um KI-gestützte Unterstützung beim Erstellen von Datenintegrationslösungen mit Aufforderungen in natürlicher Sprache bereitzustellen. Copilot hilft Ihnen, Ihren Entwicklungsprozess von Datenflüssen zu optimieren, indem Sie umgangssprachliche Befehle verwenden können, um Datentransformationen und -operationen auszuführen.

• Abrufen von Daten aus Quellen: Verwenden Sie die Startaufforderung "Daten von", um eine Verbindung mit verschiedenen Datenquellen wie OData, Datenbanken und Dateien herzustellen.
• Transformieren von Daten mit natürlicher Sprache: Anwenden von Transformationen mithilfe von Unterhaltungsaufforderungen wie:
  • "Nur europäische Kunden behalten"
  • Gesamtanzahl der Mitarbeiter nach Stadt zählen
  • "Nur Bestellungen behalten, deren Mengen über dem Medianwert liegen"
• Beispieldaten erstellen: Verwenden Sie Azure OpenAI, um Beispieldaten für Tests und Entwicklung zu generieren.
• Rückgängig: Tippen oder wählen Sie "Rückgängig", um den letzten angewendeten Schritt zu entfernen.
• Validieren und Überprüfung: Jede Copilot-Aktion wird als Antwortkarte mit den entsprechenden Schritten in der Liste "Angewendete Schritte" angezeigt.

Weitere Informationen finden Sie unter Copilot für Dataflow Gen2.

Was benötigen Sie, um Datenflüsse zu verwenden?

Dataflow Gen2 erfordert eine Fabric-Kapazität, eine Fabric-Testversion oder eine Power BI Premium-Kapazität. Informationen zur Funktionsweise der Lizenzierung für Datenflüsse finden Sie unter Microsoft Fabric Konzepte und Lizenzen.

Wechsel von Dataflow Gen1 zu Gen2

Wenn Sie bereits Datenflüsse mit Gen1 erstellt haben, machen Sie sich keine Sorgen – Sie können sie problemlos zu Gen2 migrieren. Wir haben mehrere Optionen, die Ihnen bei der Umstellung helfen:

• Exportieren und Importieren Ihrer Abfragen
• Kopieren und Einfügen in Power Query
• Verwenden des Features "Speichern unter"

Exportieren und Importieren Ihrer Abfragen

Sie können Ihre Dataflow Gen1-Abfragen exportieren und in einer PQT-Datei speichern und dann in Dataflow Gen2 importieren. Für Schritt-für-Schritt-Anleitungen siehe Zum Verwenden der Funktion "Vorlage exportieren".

Kopieren und Einfügen in Power Query

Wenn Sie einen Datenfluss in Power BI oder Power Apps haben, können Sie Ihre Abfragen kopieren und in den Dataflow Gen2-Editor einfügen. Mit diesem Ansatz können Sie migrieren, ohne Ihre Abfragen von Grund auf neu erstellen zu müssen. Weitere Informationen: Kopieren und Einfügen vorhandener Dataflow Gen1-Abfragen.

Verwenden der Funktion "Speichern unter"

Wenn Sie bereits über einen beliebigen Datentransformationsfluss (Gen1 oder Gen2) verfügen, enthält Data Factory eine Funktion "Speichern unter". Auf diese Weise können Sie alle vorhandenen Datenflüsse als neues Dataflow Gen2-Element mit CI/CD- und Git-Integrationsunterstützung in nur einer Aktion speichern. Weitere Details: Migrieren sie mithilfe von "Speichern unter" zu "Dataflow Gen2".

Staging von Elementen in Ihrem Arbeitsbereich

In einigen Umgebungen werden möglicherweise vom System generierte Elemente wie DataflowsStagingLakehouse oder DataflowsStagingWarehouse in Ihrem Arbeitsbereich angezeigt. Hierbei handelt es sich um interne Stagingelemente, die von Dataflow Gen2 verwendet werden und nicht für direkte Interaktionen vorgesehen sind. Sie können sie sicher ignorieren.

Verwandte Inhalte

Möchten Sie mehr erfahren? Sehen Sie sich diese hilfreichen Ressourcen an:

• Überwachen von Datenflüssen – Nachverfolgen des Aktualisierungsverlaufs und der Leistung
• Speichern von Entwürfen während der Arbeit – Erfahren Sie mehr über das Feature "Automatisches Speichern"
• Migrieren von Gen1 zu Gen2 – Schritt-für-Schritt-Migrationshandbuch