Laden von Daten in Azure Synapse Analytics mithilfe von Azure Data Factory oder einer Synapse-Pipeline

Gilt für: Azure Data Factory Azure Synapse Analytics

Azure Synapse Analytics ist eine cloudbasierte, skalierungsbasierte Datenbank, die große Datenmengen verarbeiten kann, sowohl relational als auch nicht relational. Azure Synapse Analytics basiert auf der massiv parallelen Verarbeitungsarchitektur (MPP), die für Enterprise Data Warehouse-Workloads optimiert ist. Es bietet Cloudelastizität mit der Flexibilität, Speicher zu skalieren und unabhängig zu berechnen.

Die ersten Schritte mit Azure Synapse Analytics sind jetzt einfacher denn je. Azure Data Factory und die entsprechende Pipelinefunktion in Azure Synapse selbst bieten einen vollständig verwalteten cloudbasierten Datenintegrationsdienst. Sie können den Dienst verwenden, um eine Azure Synapse Analytics mit Daten aus Ihrem vorhandenen System zu füllen und Zeit zu sparen, wenn Sie Ihre Analyselösungen erstellen.

Azure Data Factory- und Synapse-Pipelines bieten die folgenden Vorteile zum Laden von Daten in Azure Synapse Analytics:

• Leicht einzurichten: Ein intuitiver Assistent mit einem 5-Schritte-Prozess. Es ist keine Skripterstellung erforderlich.
• Unterstützung für umfangreiche Datenspeicher: Integrierte Unterstützung für umfangreiche lokale und cloudbasierte Datenspeicher. Eine ausführliche Liste finden Sie in der Tabelle Unterstützte Datenspeicher.
• Sicher und kompatibel: Daten werden über HTTPS oder ExpressRoute übertragen. Globale Dienste stellen sicher, dass Ihre Daten nie die geografische Grenze verlassen.
• Unparallele Leistung mithilfe von PolyBase: Polybase ist die effizienteste Möglichkeit, Daten in Azure Synapse Analytics zu verschieben. Verwenden Sie das Staging-Blob-Feature, um hohe Ladegeschwindigkeiten von allen Arten von Datenspeichern zu erzielen, einschließlich Azure Blob-Speicher und Data Lake Store. (Polybase unterstützt standardmäßig Azure Blob-Speicher und Azure Data Lake Store.) Ausführliche Informationen finden Sie unter Copy-Aktivität Performance.

In diesem Artikel wird erläutert, wie Sie das Tool „Daten kopieren“ verwenden, um Daten aus Azure SQL-Datenbank in Azure Synapse Analytics zu laden. Sie können ähnliche Schritte zum Kopieren von Daten aus anderen Typen von Datenspeichern ausführen.

Voraussetzungen

• Azure Abonnement: Wenn Sie nicht über ein Azure-Abonnement verfügen, erstellen Sie ein free-Konto, bevor Sie beginnen.
• Azure Synapse Analytics: Das Data Warehouse enthält die Daten, die aus der SQL-Datenbank kopiert werden. Wenn Sie keine Azure Synapse Analytics haben, lesen Sie die Anweisungen in Create an Azure Synapse Analytics.
• Azure SQL-Datenbank: In diesem Lernprogramm werden Daten aus dem Adventure Works LT-Beispiel-Dataset in Azure SQL-Datenbank kopiert. Sie können diese Beispieldatenbank in der SQL-Datenbank erstellen, indem Sie den Anweisungen in Create a sample database in Azure SQL-Datenbank folgen.
• Azure-Speicherkonto: Azure Storage wird im Massenkopiervorgang als Stagingblob verwendet. Wenn Sie nicht über ein Azure Speicherkonto verfügen, lesen Sie die Anweisungen in Create a storage account.

Erstellen einer Data Factory

1. Wenn Sie Ihre Datenfactory noch nicht erstellt haben, führen Sie die Schritte in Quickstart aus: Erstellen Sie eine Datenfactory mithilfe des Azure Portals und Azure Data Factory Studio, um eine zu erstellen. Navigieren Sie nach der Erstellung zur Data Factory im Azure-Portal.

   

2. Wählen Sie Open im Open Azure Data Factory Studio Kachel aus, um die Datenintegrationsanwendung auf einer separaten Registerkarte zu starten.

Laden von Daten in Azure Synapse Analytics

1. Wählen Sie auf der Startseite Azure Data Factory oder Azure Synapse Arbeitsbereichs die Kachel Ingest aus, um das Tool "Daten kopieren" zu starten. Sie können dann die Integrierte Kopieraufgabe verwenden.

2. Klicken Sie auf der Seite Eigenschaften unter Vorgangsart auf den Typ Integrierte Kopieraufgabe und dann auf Weiter.

   

3. Führen Sie auf der Seite Quelldatenspeicher die folgenden Schritte aus:

   Tipp

   In diesem Tutorial verwenden Sie die SQL-Authentifizierung als Authentifizierungstyp für Ihren Quelldatenspeicher, Sie können bei Bedarf aber auch andere unterstützte Authentifizierungsmethoden auswählen: Dienstprinzipal oder Verwaltete Identität. Ausführlichere Informationen finden Sie in den entsprechenden Abschnitten dieses Artikels. Um geheime Schlüssel für Datenspeicher sicher zu speichern, empfiehlt es sich auch, eine Azure Key Vault zu verwenden. Eine ausführliche Erläuterung finden Sie in diesem Artikel.

   1. Wählen Sie + Neue Verbindung aus.

   2. Wählen Sie im Katalog Azure SQL-Datenbank aus, und wählen Sie Continue aus. Sie können in das Suchfeld zum Filtern der Connectors „SQL“ eingeben.

      

   3. Wählen Sie auf der Seite Neue Verbindung (Azure SQL-Datenbank) Ihren Servernamen und den DB-Namen aus der Dropdownliste aus, und geben Sie den Benutzernamen und das Kennwort an. Wählen Sie Verbindung testen aus, um die Einstellungen zu überprüfen. Wählen Sie dann Erstellen aus.

      

   4. Wählen Sie auf der Seite Zieldatenspeicher die neu erstellte Verbindung als Quelle in dem Bereich Verbindung aus.

   5. Geben Sie SalesLT in dem Abschnitt Quelltabellen ein, um die Tabellen zu filtern. Aktivieren Sie das Kontrollkästchen (Alles auswählen) , um alle Tabellen für den Kopiervorgang zu verwenden, und wählen Sie dann Weiter aus.

   

4. Geben Sie auf der Seite Filter anwenden die Einstellungen an, oder wählen Sie Weiter aus. Sie können eine Datenvorschau anzeigen und das Schema der Eingabedaten einsehen, indem Sie die Schaltfläche Datenvorschau auswählen.

   

5. Führen Sie auf der Seite Zieldatenspeicher die folgenden Schritte aus:

   Tipp

   In diesem Tutorial verwenden Sie die SQL-Authentifizierung als Authentifizierungstyp für Ihren Zieldatenspeicher, Sie können bei Bedarf aber auch andere unterstützte Authentifizierungsmethoden auswählen: Dienstprinzipal oder Verwaltete Identität. Ausführlichere Informationen finden Sie in den entsprechenden Abschnitten dieses Artikels. Um geheime Schlüssel für Datenspeicher sicher zu speichern, empfiehlt es sich auch, eine Azure Key Vault zu verwenden. Eine ausführliche Erläuterung finden Sie in diesem Artikel.

   1. Wählen Sie + Neue Verbindung aus, um eine Verbindung hinzuzufügen.

   2. Wählen Sie im Katalog Azure Synapse Analytics aus, und wählen Sie Continue aus.

      

   3. Wählen Sie auf der Seite Neue Verbindung (Azure Synapse Analytics) Ihren Servernamen und den DB-Namen aus der Dropdownliste aus, und geben Sie den Benutzernamen und das Kennwort an. Wählen Sie Verbindung testen aus, um die Einstellungen zu überprüfen. Wählen Sie dann Erstellen aus.

      

   4. Wählen Sie auf der Seite Zieldatenspeicher die neu erstellte Verbindung als Senke in dem Bereich Verbindung aus.

6. Überprüfen Sie den Inhalt der Seite Tabellenzuordnung und klicken Sie dann auf Weiter. Eine intelligente Tabellenzuordnung wird angezeigt. Die Quelltabellen werden den Zieltabellen auf Grundlage der Tabellennamen zugeordnet. Wenn eine Quelltabelle im Ziel nicht vorhanden ist, wird von dem Service standardmäßig eine Zieltabelle mit dem gleichen Namen erstellt. Sie können eine Quelltabelle auch einer vorhandenen Zieltabelle zuordnen.

   

7. Überprüfen Sie den Inhalt der Seite Spaltenzuordnung, und wählen Sie dann Weiter aus. Die intelligente Tabellenzuordnung basiert auf dem Spaltennamen. Wenn Sie den Dienst die Tabellen automatisch erstellen lassen, kann eine Datentypkonvertierung erfolgen, wenn zwischen den Quell- und Zielspeichern Inkompatibilitäten vorliegen. Wenn es eine nicht unterstützte Datentypkonvertierung zwischen der Quell- und Zielspalte gibt, wird eine Fehlermeldung neben der entsprechenden Tabelle angezeigt.

   

8. Führen Sie auf der Seite Einstellungen die folgenden Schritte aus:

   1. Geben Sie CopyFromSQLToSQLDW in das Feld Aufgabenname ein.

   2. Klicken Sie im Abschnitt Stagingeinstellungen auf + Neu, um einen neuen Stagingspeicher zu erstellen. Der Speicher wird zum Staging der Daten verwendet, bevor sie mithilfe von PolyBase in Azure Synapse Analytics geladen wird. Nach Abschluss der Kopie werden die Zwischendaten in Azure Blob Storage automatisch bereinigt.

   3. Wählen Sie auf der Seite Neuer verknüpfter Dienst Ihr Speicherkonto und dann Erstellen aus, um den verknüpften Dienst bereitzustellen.

   4. Deaktivieren Sie die Option Typstandard verwenden, und wählen Sie dann Weiter aus.

   

9. Überprüfen Sie auf der Seite Zusammenfassung die Einstellungen, und klicken Sie dann auf Weiter.

10. Klicken Sie auf der Bereitstellungsseite auf Überwachung, um die Pipeline (Task) zu überwachen.

    

11. Beachten Sie, dass die Registerkarte Überwachen auf der linken Seite automatisch ausgewählt ist. Wenn die Pipelineausführung erfolgreich abgeschlossen wurde, wählen Sie den Link CopyFromSQLToSQLDW unter der Spalte Pipelinename aus, um Details zur Aktivitätsausführung anzuzeigen oder die Pipeline erneut auszuführen.

    • Azure Data Factory
    • Azure Synapse

    

12. Wählen Sie oben den Link Alle Pipelineausführungen aus, um zurück zur Ansicht mit den Pipelineausführungen zu wechseln. Klicken Sie zum Aktualisieren der Liste auf Aktualisieren.

    

13. Zum Überwachen der Ausführungsdetails jeder Kopieraktivität wählen Sie in der Ansicht der Aktivitätsausführungen unter Aktivitätsname den Link Details (Brillensymbol) aus. Sie können Details wie die Menge der Daten, die aus der Quelle in die Senke kopiert wurden, den Datendurchsatz, die Ausführungsschritte mit entsprechender Dauer sowie die verwendeten Konfigurationen überwachen.

    

    

Zugehöriger Inhalt

Wechseln Sie zum folgenden Artikel, um mehr über Azure Synapse Analytics Support zu erfahren: