Erstellen einer Event Hubs-Datenverbindung für Azure Data Explorer

Voraussetzungen

• Ein Microsoft-Konto oder eine Microsoft Entra-Benutzeridentität. Ein Azure-Abonnement ist nicht erforderlich.
• Ein Azure Data Explorer Cluster und eine Datenbank. Erstellen eines Clusters und einer Datenbank
• Die Streamingeingestion muss auf Ihrem Azure Data Explorer Cluster konfiguriert werden.

Datensammlung

1. Wählen Sie im linken Menü " Abfrage" aus.

2. Klicken Sie mit der rechten Maustaste auf die Datenbank, in der Sie die Daten aufnehmen möchten. Wählen Sie Daten abrufen.

   

Quelle

Im Fenster Daten abrufen ist die Registerkarte Quelle ausgewählt.

Wählen Sie die Datenquelle aus der verfügbaren Liste aus. In diesem Beispiel nehmen Sie Daten aus Event Hubsauf.

Konfigurieren

1. Wählen Sie eine Zieldatenbank und -tabelle aus. Wenn Sie Daten in einer neuen Tabelle erfassen möchten, wählen Sie +Neue Tabelle aus, und geben Sie einen Tabellennamen ein.

   Hinweis

   Tabellennamen können bis zu 1.024 Zeichen umfassen, einschließlich Leerzeichen, alphanumerische Zeichen, Bindestriche und Unterstriche. Sonderzeichen werden nicht unterstützt.

   

2. Füllen Sie die folgenden Felder aus:

   Einstellung	Feldbeschreibung
   Abonnement	Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace	Der Name, der Ihren Namespace bezeichnet
   Event Hub	Der Event Hub, den Sie wünschen
   Consumergruppe	Die in Ihrem Ereignis definierte Verbrauchergruppe
   Name der Datenverbindung	Der Name, der Ihre Datenverbindung bezeichnet
   Erweiterte Filter
   Komprimierung	Der Komprimierungstyp der Event Hub-Nachrichtennutzlast.
   Ereignissystemeigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Startdatum des Ereignisabrufs	Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Es können nur Ereignisse abgerufen werden, die innerhalb des Aufbewahrungszeitraums von Event Hubs aufbewahrt werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit die Uhrzeit, zu der die Datenverbindung erstellt wird.

3. Klicken Sie auf Weiter.

Inspizieren

Die Registerkarte Prüfen wird mit einer Vorschau der Daten geöffnet.

Um den Erfassungsvorgang abzuschließen, wählen Sie Fertig stellen aus.

Optional:

• Sind die im Vorschaufenster angezeigten Daten nicht vollständig, benötigen Sie möglicherweise mehr Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:

  • Verwerfen und Abrufen neuer Daten: Verwirft die angezeigten Daten und sucht nach neuen Ereignissen.

  • Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.

    Hinweis

    Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.

• Wählen Sie die Befehlsanzeige, um die aus Ihren Eingaben generierten automatischen Befehle anzuzeigen und zu kopieren.

• Verwenden Sie das Dropdown-Menü Schemadefinition-Datei, um die Datei zu ändern, aus der das Schema abgeleitet wird.

• Ändern Sie das automatisch abgeleitete Datenformat, indem Sie das gewünschte Format aus der Dropdownliste auswählen. Siehe Datenformate, die von Azure Data Explorer für die Aufnahme unterstützt werden.

• Spalten bearbeiten.

• Erkunden Sie Erweiterte Optionen basierend auf dem Datentyp.

Bearbeiten von Spalten

Die Änderungen, die Sie an einer Tabelle vornehmen können, hängen von den folgenden Parametern ab:

• Der Tabellentyp ist neu oder vorhanden.
• Der Mapping-Typ ist neu oder vorhanden.

Zuordnungstransformationen

Einige der Datenformatzuordnungen (Parquet, JSON und Avro) unterstützen einfache Transformationen während der Erfassung. Erstellen oder aktualisieren Sie zum Anwenden von Zuordnungstransformationen eine Spalte im Fenster Spalten bearbeiten.

Zuordnungstransformationen können für eine Spalte ausgeführt werden, für die als Typ der Wert „string“ oder „datetime“ und für Quelle der Datentyp „int“ oder „long“ angegeben ist. Die folgenden Abbildungsumwandlungen werden unterstützt:

• DatumZeitVonUnixSekunden
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Erweiterte Optionen basierend auf dem Datentyp

Tabellarisch (CSV, TSV, PSV):

• Wenn Sie tabellarische Formate in einer vorhandenen Tabelle aufnehmen, können Sie das Dropdown-Menü "Tabellenzuordnung" auswählen und Vorhandene Zuordnung verwenden auswählen. Tabellendaten enthalten nicht unbedingt die Spaltennamen, die verwendet werden, um Quelldaten den vorhandenen Spalten zuzuordnen. Wenn diese Option aktiviert ist, wird die Zuordnung nach der geltenden Reihenfolge durchgeführt, und das Tabellenschema bleibt unverändert.

• Erstellen Sie andernfalls eine neue Zuordnung.

• Wenn Sie die erste Zeile als Spaltennamen verwenden möchten, wählen Sie die Überschrift " Erste Zeile" aus.

  

JSON:

• Um die Spaltenteilung von JSON-Daten zu bestimmen, wählen Sie "Geschachtelte Ebenen" von 1 bis 100 aus.

Zusammenfassung

Im Fenster Datenaufbereitung werden alle drei Schritte mit grünen Häkchen markiert, wenn die Datenerfassung erfolgreich abgeschlossen wurde. Sie können die Befehle anzeigen, die für jeden Schritt verwendet wurden, oder eine Karte zum Abfragen, Visualisieren oder Ablegen der aufgenommenen Daten auswählen.

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein free Azure Konto.
• Ein Azure Data Explorer Cluster und eine Datenbank. Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle. Erstellen Sie eine Tabelle, oder verwenden Sie eine vorhandene.
• Eine Erfassungszuordnung für die Tabelle
• Ein Event Hub mit Daten für die Erfassung

Datensammlung

1. Wechseln Sie im Azure-Portal zu Ihrem Cluster, und wählen Sie Datenbanken aus. Wählen Sie dann die Datenbank aus, die Ihre Zieltabelle enthält.

   

2. Wählen Sie im linken Menü "Datenaufnahme" aus. Wählen Sie dann in der oberen Leiste "Datenverbindung hinzufügen" aus.

3. Füllen Sie das Formular mit den folgenden Informationen aus, und wählen Sie dann Erstellen aus.

   Einstellung	Empfohlener Wert	Feldbeschreibung
   Name der Datenverbindung	Test-Hub-Verbindung	Der Name der Verbindung, die Sie in Azure Data Explorer erstellen möchten.
   Abonnement		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace	Ein eindeutiger Namespacename	Der von Ihnen zuvor ausgewählte Name, der Ihren Namespace identifiziert.
   Event-Hub	Testhub	Der von Ihnen erstellte Event Hub.
   Consumergruppe	Testgruppe	Die Consumergruppe, die in dem von Ihnen erstellten Event Hub definiert ist.
   Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Komprimierung	Nichts	Der Komprimierungstyp der Event Hub-Nachrichtennutzlast. Unterstützte Komprimierungstypen: None, gzip.
   Verwaltete Identität (empfohlen)	Systemseitig zugewiesen	Die vom Data Explorer-Cluster verwendete verwaltete Identität, um auf den Event Hub zuzugreifen und zu lesen. Es wird empfohlen, verwaltete Identitäten zu verwenden, um den Zugriff auf Ihren Event Hub zu steuern. Hinweis: Wenn die Datenverbindung erstellt wird: * Systemseitig zugewiesene Identitäten werden automatisch erstellt, wenn sie nicht vorhanden sind. * Die verwaltete Identität wird automatisch der Rolle Azure Event Hubs Data Receiver zugewiesen und ihrem Data Explorer Cluster hinzugefügt. Es wird empfohlen, zu überprüfen, ob die Rolle zugewiesen und die Identität dem Cluster hinzugefügt wurde.

   Hinweis

   Wenn Sie über eine vorhandene Datenverbindung verfügen, die keine verwalteten Identitäten verwendet, empfehlen wir, sie auf die Verwendung verwalteter Identitäten zu aktualisieren.

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein free Azure Konto.
• Ein Azure Data Explorer Cluster und eine Datenbank. Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle. Erstellen Sie eine Tabelle, oder verwenden Sie eine vorhandene.
• Eine Erfassungszuordnung für die Tabelle
• Ein Event Hub mit Daten für die Erfassung

Datensammlung

1. Navigieren Sie im Azure-Portal zu Ihrer Event Hubs-Instanz.

2. Wählen Sie im Menü "Features " die Option "Daten mit Kusto analysieren" aus.

3. Wählen Sie Start aus, um den Ingestions-Assistenten für Azure Data Explorer zu öffnen.

   

   Hinweis

   • Sie müssen mindestens über Datenbankbenutzerberechtigungen verfügen.
   • Informationen zum Aktivieren des Zugriffs zwischen einem Cluster und einem Speicherkonto ohne öffentlichen Zugriff finden Sie unter Erstellen eines verwalteten privaten Endpunkts.
   • Der Cluster und der Event Hub sollten denselben Mandanten zugeordnet sein. Verwenden Sie andernfalls eine der SDK-Optionen, z. B. C# oder Python.

4. Der Bereich 'Datenimport' wird geöffnet, wobei die Registerkarte 'Ziel' ausgewählt ist. Wählen Sie die Felder "Cluster " und "Datenbank " aus den Dropdowns aus. Stellen Sie sicher, dass Sie einen Cluster auswählen, der gerade ausgeführt wird. Andernfalls können Sie die Datenbank nicht auswählen und mit dem Aufnahmevorgang fortfahren.

5. Wählen Sie unter "Tabelle" die Option "Neue Tabelle " aus, und geben Sie einen Namen für die neue Tabelle ein. Alternativ können Sie eine vorhandene Tabelle verwenden.

6. Wählen Sie die Option Weiter: Quelle aus.

7. Unter dem Quelltyp werden der Typ und die Details des Ereignishubs basierend auf der Event Hubs-Instanz, von der Sie gestartet sind, automatisch ausgefüllt.

8. Geben Sie unter "Datenverbindung" die folgenden Felder ein, und wählen Sie "Weiter: Schema" aus.

   Einstellung	Empfohlener Wert	Feldbeschreibung
   Abonnement		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace		Der Name, der Ihren Namespace bezeichnet
   Event Hub		Der zu verwendende Event Hub
   Name der Datenverbindung	TestDataConnection	Der Name, der Ihre Datenverbindung bezeichnet
   Consumergruppe		Die in Ihrem Event Hub definierte Consumergruppe
   Komprimierung		Der Komprimierungstyp der Event Hub-Nachrichtennutzlast.
   Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Startdatum des Ereignisabrufs	Koordinierte Weltzeit (UTC)	Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Es können nur Ereignisse abgerufen werden, die innerhalb des Aufbewahrungszeitraums von Event Hubs aufbewahrt werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit die Uhrzeit, zu der die Datenverbindung erstellt wird.

9. Wenn Streaming für den Cluster aktiviert ist, können Sie Streaming-Ingestion auswählen. Wenn Streaming für den Cluster nicht aktiviert ist, legen Sie die Latenz des Datenbatches fest. Bei Event Hubs beträgt die empfohlene Batchverarbeitungszeit 30 Sekunden.

   

10. Wählen Sie das Datenformat aus. Ignorieren Sie für CSV-formatierte Daten den ersten Datensatz, um die Überschriftenzeile der Datei zu ignorieren. Wählen Sie für JSON-formatierte Daten die Option "Datenformatfehler ignorieren" aus, um die Daten im JSON-Format aufzunehmen oder nicht ausgewählt zu lassen, um die Daten im Multijson-Format aufzunehmen. Wählen Sie die geschachtelten Ebenen aus, um die Aufteilung der Tabellenspalten-Daten zu bestimmen.

11. Sind die im Vorschaufenster angezeigten Daten nicht vollständig, benötigen Sie möglicherweise mehr Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:

    • Verwerfen und neue Daten abrufen: Die dargestellten Daten werden verworfen, und es wird nach neuen Ereignissen gesucht.
    • Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.

    Hinweis

    Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.

12. Wählen Sie Weiter: Zusammenfassung aus.

13. Im Fenster Stetige Aufnahme aus Event Hub eingerichtet werden alle Schritte mit grünen Häkchen gekennzeichnet, wenn die Einrichtung erfolgreich abgeschlossen ist.

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein free Azure Konto.
• Ein Azure Data Explorer Cluster und eine Datenbank. Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle. Erstellen Sie eine Tabelle, oder verwenden Sie eine vorhandene.
• Eine Erfassungszuordnung für die Tabelle
• Ein Event Hub mit Daten für die Erfassung

ARM-Vorlage

Das folgende Beispiel zeigt eine Azure Resource Manager Vorlage zum Hinzufügen einer Event Hubs-Datenverbindung. Sie können die Vorlage im Azure Portal mithilfe des Formulars bearbeiten und bereitstellen.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Entfernen Sie die Datenverbindung über das Azure Portal, wie auf der Registerkarte "Portal" erläutert.

Führen Sie die folgenden Schritte aus, um die Event Hub-Verbindung aus dem Azure-Portal zu entfernen:

1. Zum Cluster gehen Wählen Sie im linken Menü Datenbanken aus. Wählen Sie dann die Datenbank aus, die die Zieltabelle enthält.
2. Wählen Sie im linken Menü Datenverbindungen aus. Aktivieren Sie dann das Kontrollkästchen neben der relevanten Event Hub-Datenverbindung.
3. Wählen Sie in der oberen Menüleiste Löschen aus.