Kopieren von Daten in oder aus Azure Data Explorer mithilfe von Azure Data Factory oder Synapse Analytics

Gilt für: Azure Data Factory Azure Synapse Analytics

In diesem Artikel wird beschrieben, wie Sie die Kopieraktivität in Azure Data Factory- und Synapse Analytics-Pipelines verwenden, um Daten in oder aus Azure Data Explorer zu kopieren. Er baut auf dem Artikel zur Übersicht über die Kopieraktivität auf, der eine allgemeine Übersicht über die Kopieraktivität enthält.

Unterstützte Funktionen

Dieser Azure Data Explorer Connector wird für die folgenden Funktionen unterstützt:

(1) Azure Integrationslaufzeit (2) Selbst gehostete Integrationslaufzeit

Sie können Daten aus jedem unterstützten Quelldatenspeicher in Azure Data Explorer kopieren. Sie können auch Daten aus Azure Data Explorer in jeden unterstützten Senkendatenspeicher kopieren. Die für die Kopieraktivität als Quellen oder Senken unterstützten Datenspeicher finden Sie in der Tabelle Unterstützte Datenspeicher.

Mit dem Azure Data Explorer Connector können Sie folgende Aktionen ausführen:

• Kopieren Sie Daten mithilfe der Authentifizierung mit Microsoft Entra-Anwendungstoken mit einem Dienstprinzipal.
• Als Quelle: Abrufen von Daten mithilfe einer KQL-Abfrage (Kusto)
• Als Senke: Anfügen von Daten an eine Zieltabelle

Erste Schritte

Zum Ausführen der Kopieraktivität mit einer Pipeline können Sie eines der folgenden Tools oder SDKs verwenden:

• Tool zum Kopieren von Daten
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST-API
• Azure Resource Manager Vorlage

Erstellen eines verknüpften Diensts zum Azure Data Explorer mithilfe der Benutzeroberfläche

Verwenden Sie die folgenden Schritte, um einen verknüpften Dienst für Azure Data Explorer in der Azure-Portal-Oberfläche zu erstellen.

1. Navigieren Sie in Ihrem Azure Data Factory- oder Synapse-Arbeitsbereich zur Registerkarte "Verwalten", und wählen Sie "Verknüpfte Dienste" aus, und klicken Sie dann auf "Neu":

   • Azure Data Factory
   • Azure Synapse

   

2. Suchen Sie nach Explorer, und wählen Sie den Azure Data Explorer (Kusto)-Connector aus.

   

3. Konfigurieren Sie die Dienstdetails, testen Sie die Verbindung, und erstellen Sie den neuen verknüpften Dienst.

   

Details zur Connectorkonfiguration

Die folgenden Abschnitte enthalten Details zu Eigenschaften, die zum Definieren von Entitäten verwendet werden, die für Azure Data Explorer Connector spezifisch sind.

Eigenschaften des verknüpften Diensts

Der Azure Data Explorer Connector unterstützt die folgenden Authentifizierungstypen. Weitere Informationen finden Sie in den entsprechenden Abschnitten:

• Dienstprinzipalauthentifizierung
• Authentifizierung mit einer systemseitig zugewiesenen verwalteten Identität
• Authentifizierung mit einer benutzerseitig zugewiesenen verwalteten Identität

Dienstprinzipalauthentifizierung

Zur Verwendung der Dienstprinzipalauthentifizierung führen Sie die folgenden Schritte aus, um einen Dienstprinzipal zu erstellen und Berechtigungen zu erteilen:

1. Registrieren Sie eine Anwendung mit dem Microsoft Identity Platform. Informationen dazu finden Sie unter Quickstart: Registrieren einer Anwendung mit dem Microsoft Identity Platform. Notieren Sie sich die folgenden Werte, die Sie zum Definieren des verknüpften Diensts verwenden können:

   • Anwendungs-ID
   • Anwendungsschlüssel
   • Mandanten-ID

2. Erteilen Sie dem Dienstprinzipal die richtigen Berechtigungen in Azure Data Explorer. Detaillierte Informationen zu Rollen und Berechtigungen sowie zum Verwalten von Berechtigungen finden Sie unter Verwalten von Azure Data Explorer-Datenbankberechtigungen. Gehen Sie wie folgt vor:

   • Weisen Sie der Datenbank als Quelle mindestens die Rolle Database viewer (Anzeigender Datenbankbenutzer) zu.
   • Weisen Sie der Datenbank als Senke mindestens die Rolle Datenbankbenutzer zu.

Die folgenden Eigenschaften werden für den Azure Data Explorer verknüpften Dienst unterstützt:

Beispiel: Verwenden der Dienstprinzipal-Schlüsselauthentifizierung

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Authentifizierung mit systemseitig zugewiesener verwalteter Identität

Weitere Informationen zu verwalteten Identitäten für Azure Ressourcen finden Sie unter Managed-Identitäten für Azure Ressourcen.

Führen Sie die folgenden Schritte zum Gewähren von Berechtigungen aus, um die Authentifizierung mit einer systemseitig zugewiesenen verwalteten Identität zu verwenden:

1. Rufen Sie die Informationen zur verwalteten Identität ab, indem Sie den Wert der Objekt-ID der verwalteten Identität kopieren, der zusammen mit Ihrer Factory oder Ihrem Synapse-Arbeitsbereich generiert wurde.

2. Gewähren Sie der verwalteten Identität die richtigen Berechtigungen in Azure Data Explorer. Detaillierte Informationen zu Rollen und Berechtigungen sowie zum Verwalten von Berechtigungen finden Sie unter Verwalten von Azure Data Explorer-Datenbankberechtigungen. Gehen Sie wie folgt vor:

   • Weisen Sie der Datenbank als Quelle die Rolle Anzeigender Datenbankbenutzer zu.
   • Weisen Sie der Datenbank als Senke die Rollen Datenbankerfasser und Anzeigender Datenbankbenutzer zu.

Die folgenden Eigenschaften werden für den Azure Data Explorer verknüpften Dienst unterstützt:

Beispiel: Verwenden der Authentifizierung mit einer systemseitig zugewiesenen verwalteten Identität

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Authentifizierung mit einer benutzerseitig zugewiesenen verwalteten Identität

Weitere Informationen zu verwalteten Identitäten für Azure Ressourcen finden Sie unter Managed-Identitäten für Azure Ressourcen

Führen Sie die folgenden Schritte aus, um die Authentifizierung mit einer benutzerseitig zugewiesenen verwalteten Identität zu verwenden:

1. Erstellen Sie eine oder mehrere benutzerdefinierte verwaltete Identitäten und erteilen Sie Berechtigungen in Azure Data Explorer. Detaillierte Informationen zu Rollen und Berechtigungen sowie zum Verwalten von Berechtigungen finden Sie unter Verwalten von Azure Data Explorer-Datenbankberechtigungen. Gehen Sie wie folgt vor:

   • Weisen Sie der Datenbank als Quelle mindestens die Rolle Database viewer (Anzeigender Datenbankbenutzer) zu.
   • Weisen Sie der Datenbank als Senke mindestens die Rolle Database ingestor (Datenbankerfasser) zu.

2. Weisen Sie Ihrer Data Factory oder Ihrem Synapse-Arbeitsbereich eine oder mehrere benutzerseitig zugewiesene verwaltete Identitäten zu, und erstellen Sie Anmeldeinformationen für jede benutzerseitig zugewiesene verwaltete Identität.

Die folgenden Eigenschaften werden für den Azure Data Explorer verknüpften Dienst unterstützt:

Beispiel: Verwenden der Authentifizierung mit einer benutzerseitig zugewiesenen verwalteten Identität

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Dataset-Eigenschaften

Eine vollständige Liste mit den Abschnitten und Eigenschaften, die zum Definieren von Datasets zur Verfügung stehen, finden Sie im Artikel zu Datasets. In diesem Abschnitt werden Die Eigenschaften aufgelistet, die vom Azure Data Explorer-Dataset unterstützt werden.

Wenn Sie Daten in Azure Data Explorer kopieren möchten, legen Sie die Typeigenschaft des Datasets auf AzureDataExplorerTable fest.

Folgende Eigenschaften werden unterstützt:

Beispiel für Dataseteigenschaften:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Eigenschaften der Kopieraktivität

Eine vollständige Liste der verfügbaren Abschnitte und Eigenschaften zum Definieren von Aktivitäten finden Sie unter Pipelines und Aktivitäten. Dieser Abschnitt enthält eine Liste der Eigenschaften, die mit Azure Data Explorer-Quellen und -Senken unterstützt werden.

Azure Data Explorer als Quelle

Um Daten aus Azure Data Explorer zu kopieren, legen Sie die Eigenschaft type in der Copy-Aktivität Quelle auf AzureDataExplorerSource fest. Folgende Eigenschaften werden im Abschnitt source der Kopieraktivität unterstützt:

Beispiel:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Azure Data Explorer als Senke

Wenn Sie Daten in Azure Data Explorer kopieren möchten, legen Sie die Typeigenschaft in der Kopieraktivitätssenke auf AzureDataExplorerSink fest. Folgende Eigenschaften werden im Abschnitt sink der Kopieraktivität unterstützt:

Beispiel:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Eigenschaften von Mapping Data Flow

Beim Transformieren von Daten im Zuordnungsdatenfluss können Sie in Azure Data Explorer aus Tabellen lesen und schreiben. Weitere Informationen finden Sie unter Quellentransformation und Senkentransformation in Zuordnungsdatenflüssen. Sie können ein Azure Data Explorer-Dataset oder ein inline-Dataset als Quelle und Senkentyp verwenden.

Quellentransformation

In der folgenden Tabelle sind die von Azure Data Explorer Quelle unterstützten Eigenschaften aufgeführt. Sie können diese Eigenschaften auf der Registerkarte Quelloptionen bearbeiten.

Beispiele für Azure Data Explorer Quellskripts

Wenn Sie Azure Data Explorer Dataset als Quelltyp verwenden, lautet das zugeordnete Datenflussskript:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Wenn Sie ein Inlinedataset verwenden, sieht das zugehörige Datenflussskript wie folgt aus:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Senkentransformation

In der folgenden Tabelle sind die Eigenschaften aufgeführt, die von Azure Data Explorer Sink unterstützt werden. Sie können diese Eigenschaften auf der Registerkarte Einstellungen bearbeiten. Bei Verwendung eines Inlinedatasets werden zusätzliche Einstellungen angezeigt. Diese entsprechen den Eigenschaften, die im Abschnitt zu den Dataseteigenschaften beschrieben sind.

Beispiele für Azure Data Explorer Senkenskript

Wenn Sie Azure Data Explorer Dataset als Sinktyp verwenden, lautet das zugeordnete Datenflussskript:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Wenn Sie ein Inlinedataset verwenden, sieht das zugehörige Datenflussskript wie folgt aus:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Eigenschaften der Lookup-Aktivität

Weitere Informationen zu den Eigenschaften finden Sie unter Lookup-Aktivität in Azure Data Factory.

Verwandte Inhalte

• Eine Liste der Datenspeicher, die die Copy-Aktivität als Quellen und Senken unterstützt, finden Sie unter Unterstützte Datenspeicher.

• Weitere Informationen dazu, wie Sie Daten von Azure Data Factory und Synapse Analytics zu Azure Data Explorer kopieren können.