Configura una connessione dati Event Hubs per Esplora dati di Azure

Prerequisiti

• Un account Microsoft o un'identità utente Microsoft Entra. Non è necessaria una sottoscrizione Azure.
• Un cluster e un database Esplora dati di Azure. Creare un cluster e un database.
• L'inserimento in streaming deve essere configurato nel cluster Esplora dati di Azure.

Raccogli dati

1. Scegliere Query dal menu a sinistra.

2. Fare clic con il pulsante destro del mouse sul database in cui si desidera inserire i dati. Seleziona Estrai dati.

   

Origine

Nella finestra Ottieni dati è selezionata la scheda Origine.

Selezionare l'origine dati dall'elenco disponibile. In questo esempio si inseriscono dati da Event Hubs.

Configurare

1. Selezionare un database e una tabella di destinazione. Per inserire dati in una nuova tabella, selezionare + Nuova tabella e immettere un nome tabella.

   Nota

   I nomi delle tabelle possono contenere fino a 1.024 caratteri, inclusi spazi, alfanumerici, trattini e caratteri di sottolineatura. I caratteri speciali non sono supportati.

   Schermata della scheda di configurazione con campi per la configurazione dell'origine dati di Event Hubs in Esplora dati di Azure.

2. Specificare i seguenti campi:

   Impostazione	Descrizione campo
   Abbonamento	ID sottoscrizione in cui si trova la risorsa dell'hub eventi.
   Namespace dell'Event Hub	Nome che identifica lo spazio dei nomi.
   Hub eventi	L'hub eventi che desideri
   Gruppo di consumatori	Gruppo di consumer definito nell'evento
   Nome connessione dati	Il nome che identifica la connessione dati.
   Filtri avanzati
   Compressione	Tipo di compressione del payload dei messaggi dell'hub di eventi.
   Proprietà del sistema per gli eventi	Proprietà del sistema dell' hub eventi. Se sono presenti più record per ogni messaggio di evento, le proprietà di sistema verranno aggiunte al primo. Quando si aggiungono proprietà del sistema, creare o aggiornare lo schema e il mapping della tabella per includere le proprietà selezionate.
   Data di inizio recupero eventi	La connessione dati recupera gli eventi esistenti di Azure Event Hubs creati dopo la data di inizio del recupero eventi. È possibile recuperare solo gli eventi conservati dal periodo di conservazione di Hub eventi. Se la data di inizio del recupero eventi non è specificata, l'ora predefinita è l'ora in cui viene creata la connessione dati.

3. Selezionare Avanti

Controllare

La scheda Ispezione si apre con un'anteprima dei dati.

Selezionare Fine per completare il processo di inserimento.

Facoltativo:

• Se i dati visualizzati nella finestra di anteprima non sono completi, potrebbero essere necessari altri dati per creare una tabella con tutti i campi dati necessari. Usare i comandi seguenti per recuperare nuovi dati dall'hub eventi:

  • Elimina e recupera nuovi dati: Scarta i dati presentati e cerca nuovi eventi.

  • Recupera altri dati: cerca altri eventi oltre a quelli già trovati.

    Nota

    Per visualizzare un'anteprima dei dati, l'hub di eventi deve inviare eventi.

• Selezionare Command viewer per visualizzare e copiare i comandi automatici generati dagli input.

• Usare il menù a discesa File di definizione dello schema per modificare il file da cui viene dedotto lo schema.

• Modificare il formato dei dati dedotti automaticamente selezionando il formato desiderato dal menu a tendina. Vedere formati Data supportati da Esplora dati di Azure per l'inserimento.

• Modifica colonne.

• Esplorare le Opzioni avanzate in base al tipo di dati.

Modifica colonne

Le modifiche che è possibile apportare in una tabella dipendono dai parametri seguenti:

• Il tipo di tabella è nuovo o esistente
• Il tipo mapping è nuovo o esistente

Trasformazioni del mapping

Alcuni mapping del formato dati (Parquet, JSON e Avro) supportano semplici trasformazioni in fase di inserimento. Per applicare le trasformazioni del mapping, creare o aggiornare una colonna nella finestra Modifica colonne.

Le trasformazioni del mapping possono essere eseguite su una colonna di tipo string o date/time, con l'origine che ha un tipo di dati int o long. Le trasformazioni del mapping supportate sono:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Opzioni avanzate in base al tipo di dati

Tabellare (CSV, TSV, PSV):

• Se si inseriscono formati tabulari in una tabella esistente, è possibile selezionare il menu a tendina della mappatura della tabella e selezionare Usa mappatura esistente. I dati tabulari non comprendono necessariamente i nomi di colonna usati per eseguire il mapping dei dati di origine sulle colonne esistenti. Quando questa opzione è selezionata, il mapping viene eseguito in base all'ordine e lo schema della tabella rimane invariato.

• In caso contrario, creare un nuovo mapping.

• Per usare la prima riga come nomi di colonna, selezionare Prima intestazione di riga.

  

JSON:

• Per determinare la divisione delle colonne dei dati JSON, selezionare Livelli annidati, da 1 a 100.

Riepilogo

Nella finestra Preparazione dei dati, tutti e tre i passaggi sono contrassegnati con segni di spunta verdi quando l'inserimento dati si conclude con successo. È possibile visualizzare i comandi usati per ogni passaggio oppure selezionare una scheda per eseguire query, visualizzare o eliminare i dati inseriti.

Prerequisiti

• Sottoscrizione Azure. Creare un account gratuito Azure.
• Un cluster e un database Esplora dati di Azure. Creare un cluster e un database.
• Tabella di destinazione. Creare una tabella o usare una tabella esistente.
• Mappatura di ingesione della tabella.
• Un hub eventi con dati per l'ingestione.

Ottieni dati

1. Nel portale di Azure passare al cluster e selezionare Database. Selezionare quindi il database che contiene la tabella di destinazione.

   

2. Nel menu a sinistra selezionare Inserimento dati. Quindi, nella barra superiore selezionare Aggiungi connessione dati.

3. Compilare il modulo con le informazioni seguenti e quindi selezionare Crea.

   Impostazione	Valore consigliato	Descrizione campo
   Nome connessione dati	connessione del test hub	Nome della connessione da creare in Esplora dati di Azure.
   Abbonamento		ID della sottoscrizione in cui si trova la risorsa dell'hub di eventi.
   Spazio dei nomi dell'hub eventi	Nome univoco per spazio dei nomi	Nome scelto in precedenza che identifica lo spazio dei nomi.
   Hub eventi	test-hub	L'hub eventi che hai creato.
   Gruppo di consumatori	test-group	Gruppo di consumatori definito nell'hub eventi che hai creato.
   Proprietà del sistema di eventi	Selezionare le proprietà appropriate	Proprietà del sistema dell'hub eventi. Se sono presenti più record per ogni messaggio di evento, le proprietà di sistema vengono aggiunte al primo record. Quando si aggiungono proprietà del sistema, creare o aggiornare lo schema e il mapping della tabella per includere le proprietà selezionate.
   Compressione	Nessuno	Tipo di compressione del payload dei messaggi dell'hub degli eventi. Tipi di compressione supportati: None, gzip.
   Identità gestita (scelta consigliata)	Assegnata dal sistema	Identità gestita usata dal cluster Esplora dati per l'accesso in lettura dall'hub eventi. È consigliabile usare le identità gestite per controllare l'accesso all'hub eventi. Nota: Quando si crea la connessione dati: Le * Identità assegnate dal sistema vengono create automaticamente se non esistono * All'identità gestita viene assegnato automaticamente il ruolo Hub eventi di Azure Ricevitore dati e viene aggiunto al cluster Esplora dati. Si consiglia di verificare che il ruolo sia stato assegnato e che l'identità sia stata aggiunta al cluster.

   Nota

   Se si dispone di una connessione dati esistente che non usa identità gestite, è consigliabile aggiornarla per usare le identità gestite.

Prerequisiti

• Sottoscrizione Azure. Creare un account gratuito Azure.
• Un cluster e un database Esplora dati di Azure. Creare un cluster e un database.
• Tabella di destinazione. Creare una tabella o usare una tabella esistente.
• Mappatura di ingesione della tabella.
• Un hub eventi con dati per l'ingestione.

Raccogli dati

1. Nel portale di Azure vai all'istanza di Event Hubs.

2. Nel menu laterale Funzionalità selezionare Analizza dati con Kusto.

3. Selezionare Start per aprire la procedura guidata di inserimento per Esplora dati di Azure.

   

   Nota

   • È necessario disporre almeno delle autorizzazioni utente del database.
   • Per abilitare l'accesso tra un cluster e un account di archiviazione senza accesso pubblico, vedere Creare un endpoint privato gestito.
   • Il cluster e l'hub eventi devono essere associati agli stessi tenant. In caso contrario, usare una delle opzioni dell'SDK, ad esempio C# o Python.

4. Viene visualizzato il riquadro laterale Inserimento dati con la scheda Destinazione selezionata. Selezionare i campi Cluster e Database nell'elenco a discesa. Assicurarsi di selezionare un cluster in esecuzione. In caso contrario, non è possibile selezionare Database e procedere con il processo di inserimento.

5. In Tabella selezionare Nuova tabella e immettere un nome per la nuova tabella. In alternativa, usare una tabella esistente.

6. Selezionare Avanti: Origine.

7. In Tipo di origine, il tipo di Event Hub e i dettagli vengono popolati automaticamente in base all'istanza di Event Hub da cui si è iniziato.

8. In Connessione dati compilare i campi seguenti e selezionare Avanti: Schema.

   Impostazione	Valore consigliato	Descrizione campo
   Abbonamento		ID sottoscrizione in cui si trova la risorsa dell'hub eventi.
   Namespace dell'Event Hub		Nome che identifica lo spazio dei nomi.
   Hub eventi		L'hub eventi che desideri usare.
   Nome connessione dati	TestDataConnection	Il nome che identifica la connessione dati.
   Gruppo di consumatori		Il gruppo di consumatori definito nell'hub di eventi.
   Compressione		Tipo di compressione del payload dei messaggi dell'hub degli eventi.
   Proprietà del sistema di eventi	Selezionare le proprietà appropriate	Proprietà del sistema dell'hub eventi. Se sono presenti più record per ogni messaggio di evento, le proprietà di sistema verranno aggiunte al primo. Quando si aggiungono proprietà del sistema, creare o aggiornare lo schema e il mapping della tabella per includere le proprietà selezionate.
   Data di inizio recupero eventi	Tempo Coordinato Universale (UTC)	La connessione dati recupera gli eventi esistenti di Event Hubs creati dopo la data di inizio del recupero eventi. È possibile recuperare solo gli eventi conservati dal periodo di conservazione di Hub eventi. Se la data di inizio del recupero eventi non è specificata, l'ora predefinita è l'ora in cui viene creata la connessione dati.

9. Se lo streaming è abilitato per il cluster, è possibile selezionare Ingestione streaming. Se lo streaming non è abilitato per il cluster, impostare la latenza di invio in batch dei dati. Per Hub eventi, il tempo di invio in batch consigliato è di 30 secondi.

   

10. Selezionare il formato dati. Per i dati in formato CSV, ignorare il primo record per ignorare la riga di intestazione del file. Per i dati in formato JSON, selezionare Ignora errori di formato dati per inserire i dati in formato JSON o lasciare deselezionati per inserire i dati in formato multijson. Selezionare i livelli annidati per determinare la divisione dei dati della colonna della tabella.

11. Se i dati visualizzati nella finestra di anteprima non sono completi, potrebbero essere necessari altri dati per creare una tabella con tutti i campi dati necessari. Usare i comandi seguenti per recuperare nuovi dati dall'hub eventi:

    • Scarta e ottieni nuovi dati: elimina i dati presentati e cerca nuovi eventi.
    • Recupera altri dati: cerca altri eventi oltre a quelli già trovati.

    Nota

    Per visualizzare un'anteprima dei dati, l'hub degli eventi deve essere in grado di inviare eventi.

12. Selezionare Avanti: Riepilogo.

13. Nella finestra Inserimento continuo dall'hub eventi stabilita , tutti i passaggi vengono contrassegnati con segni di spunta verdi al termine della definizione.

Prerequisiti

• Sottoscrizione Azure. Creare un account gratuito Azure.
• Un cluster e un database Esplora dati di Azure. Creare un cluster e un database.
• Tabella di destinazione. Creare una tabella o usare una tabella esistente.
• Mappatura di ingesione della tabella.
• Un hub eventi con dati per l'ingestione.

Modello ARM

L'esempio seguente illustra un modello di Azure Resource Manager per l'aggiunta di una connessione dati di Hub eventi. È possibile edit e distribuire il modello nel portale di Azure usando il modulo.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Rimuovere la connessione dati tramite il portale di Azure, come illustrato nella scheda del portale.

Per rimuovere la connessione dell'hub eventi dal portale di Azure, seguire questa procedura:

1. Passare al cluster. Nel menu a sinistra selezionare Database. Selezionare quindi il database contenente la tabella di destinazione.
2. Dal menu a sinistra selezionare Connessioni dati. Quindi, selezionare la casella di controllo accanto alla connessione dati dell'hub eventi appropriata.
3. Nella barra dei menu in alto selezionare Elimina.