Anleitung zum Importieren historischer Daten in Azure Data Explorer

LightIngest ist nützlich, um historische Daten aus einem vorhandenen Speichersystem in Azure Data Explorer zu laden. Während Sie Ihren eigenen Befehl mithilfe der Liste der Befehlszeilenargumente erstellen können, zeigt dieser Artikel, wie Sie diesen Befehl über einen Assistenten zur Datenaufnahme automatisch generieren. Zusätzlich zum Erstellen des Befehls können Sie diesen Prozess verwenden, um eine neue Tabelle zu erstellen und eine Schemazuordnung zu erstellen. Dieses Tool ermittelt das Schema-Mapping aus Ihrem Datensatz.

Ziel

1. Wählen Sie in der Azure Data Explorer Web-UI im linken Menü Query aus.

2. Klicken Sie mit der rechten Maustaste auf die Datenbank, in der Sie die Daten aufnehmen möchten, und wählen Sie dann "LightIngest" aus.

   

   Das Fenster "Daten aufnehmen" wird geöffnet, wobei die Registerkarte "Ziel " ausgewählt ist. Die Felder Cluster und Datenbank werden automatisch aufgefüllt.

3. Wählen Sie eine Zieltabelle aus. Wenn Sie Daten in eine neue Tabelle aufnehmen möchten, wählen Sie "Neue Tabelle" aus, und geben Sie dann einen Tabellennamen ein.

   Hinweis

   Tabellennamen können bis zu 1.024 Zeichen umfassen, einschließlich Leerzeichen, alphanumerischen Zeichen, Bindestrichen und Unterstrichen. Sonderzeichen werden nicht unterstützt.

   

4. Wählen Sie die Option Weiter: Quelle aus.

Quelle

1. Wählen Sie unter "Quelle auswählen" entweder " URL hinzufügen" oder "Container auswählen" aus.

   • Wenn Sie eine URL hinzufügen, geben Sie unter "Mit Quelle verknüpfen" den Kontoschlüssel oder die SAS-URL zu einem Container an. Sie können die SAS-URL manuell oder automatisch erstellen.

   • Wenn Sie einen Container aus Ihrem Speicherkonto auswählen, wählen Sie In den Dropdownmenüs Ihr Speicherabonnement, Ihr Speicherkonto und den Container aus.

     

   Hinweis

   Die Erfassung unterstützt eine maximale Dateigröße von 6 GB. Es wird empfohlen, Dateien zwischen 100 MB und 1 GB zu importieren.

2. Wählen Sie erweiterte Einstellungen aus, um zusätzliche Einstellungen für den Aufnahmeprozess mithilfe von LightIngest zu definieren.

   

3. Definieren Sie im Bereich "Erweiterte Konfiguration " die LightIngest-Einstellungen gemäß der folgenden Tabelle.

   

   Eigenschaft	Beschreibung
   Erstellungszeitmuster	Mit dieser Angabe können Sie die Ingestionszeit-Eigenschaft des erstellten Umfangs mit einem Muster überschreiben, zum Beispiel, um ein Datum basierend auf der Ordnerstruktur des Containers anzuwenden. Siehe auch Erstellungsmusterzeit.
   Blob-Namensmuster	Geben Sie das Muster an, mit dem die zu erfassenden Dateien identifiziert werden. Es werden alle Dateien erfasst, die dem Blob-Namensmuster im angegebenen Container entsprechen. Unterstützt Platzhalter. Schließen Sie das Muster in doppelte Anführungszeichen ein.
   Tag	Ein Tag, das den aufgenommenen Daten zugewiesen wird. Das Tag kann eine beliebige Zeichenfolge sein.
   Beschränken der Anzahl von Dateien	Geben Sie die Anzahl der einzulesenden Dateien an. Es werden die ersten n Dateien erfasst, die dem Blob-Namensmuster entsprechen (bis zur angegebenen Anzahl).
   Warten Sie nicht, bis die Aufnahme abgeschlossen ist.	Wenn diese Einstellung festgelegt ist, werden die Blobs für die Erfassung in die Warteschlange eingereiht, ohne den Erfassungsprozess zu überwachen. Ist die Einstellung nicht festgelegt, überprüft LightIngest ständig den Ingestionsstatus, bis die Ingestion abgeschlossen ist.
   Nur ausgewählte Elemente anzeigen	Listet die Dateien im Container auf, erfasst sie aber nicht.

4. Wählen Sie "Fertig" aus, um zur Registerkarte "Quelle " zurückzukehren.

   1. Wählen Sie optional "Dateifilter" aus, um die Daten zu filtern, um nur Dateien in einem bestimmten Ordnerpfad oder mit einer bestimmten Dateierweiterung aufzunehmen.

      

      Standardmäßig wird eine der Dateien im Container zufällig ausgewählt und zum Generieren des Schemas für die Tabelle verwendet.

   2. Geben Sie optional unter Schemadefinitionsdatei die zu verwendende Datei an.

5. Wählen Sie die Option Weiter: Schema aus, um Ihre Tabellenspaltenkonfiguration anzuzeigen und zu bearbeiten.

Schema

Die Schemaregisterkarte bietet eine Vorschau der Daten.

Um den Befehl "LightIngest" zu generieren, wählen Sie "Weiter: Aufnahme starten" aus.

Optional können Sie:

• Ändern Sie das automatisch abgeleitete Datenformat , indem Sie im Dropdownmenü das gewünschte Format auswählen.
• Ändern Sie den automatisch abgeleiteten Zuordnungsnamen. Sie können alphanumerische Zeichen und Unterstriche verwenden. Leerzeichen, Sonderzeichen und Bindestriche werden nicht unterstützt.
• Bei Verwendung einer vorhandenen Tabelle können Sie Keep current table schema (Aktuelles Tabellenschema beibehalten) auswählen, wenn das Tabellenschema dem ausgewählten Format entspricht.
• Wählen Sie die Befehlsanzeige, um die aus Ihren Eingaben generierten automatischen Befehle anzuzeigen und zu kopieren.
• Spalten bearbeiten. Wählen Sie unter "Teildatenvorschau" die Spaltendropdownmenüs aus, um verschiedene Aspekte der Tabelle zu ändern.

Die Änderungen, die Sie an einer Tabelle vornehmen können, hängen von den folgenden Parametern ab:

• Der Tabellentyp ist neu oder vorhanden.
• Der Mapping-Typ ist neu oder vorhanden.

Datenimport

1. Wenn der Befehl "Tabelle", "Zuordnung" und "LightIngest" grüne Häkchen anzeigt, aktivieren Sie oben rechts im Feld "Generiert" das Kopiersymbol, um den generierten LightIngest-Befehl zu kopieren.

   

   Hinweis

   Bei Bedarf können Sie das Tool LightIngest herunterladen, indem Sie "LightIngest herunterladen" auswählen.

2. Um den Aufnahmevorgang abzuschließen, müssen Sie LightIngest mit dem kopierten Befehl ausführen.

Schritt 1: Vorbereiten der Neupartitionierung

1. Passen Sie die Aufbewahrungsrichtlinie an, um alte Daten beizubehalten. Legen Sie im folgenden Beispiel die Aufbewahrungsrichtlinie für die Tabelle "MyTable" auf 10 Jahre fest.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Passen Sie die Zwischenspeicherungsrichtlinie so an, dass sich alle Daten für die Neupartitionierung im heißen Cache befinden, da nur heiße Daten nach der Aufnahme neu partitioniert werden können. Legen Sie im folgenden Beispiel die Zwischenspeicherung der Tabelle "MyTable" auf 10 Jahre fest.

   .alter table MyTable policy caching hot = 3650d
   

   Wichtig

   Das Erhöhen der Zwischenspeicherungsrichtlinie kann erheblich mehr Hot-Cache als bei normalen Vorgängen verwenden und zu erhöhten Kosten führen.

Schritt 2: Initiieren der Neupartitionierung

1. Erstellen Sie eine Partitionierungsrichtlinie, die die Daten durch die Spalte mit dem Namen Timestamppartitioniert. Legen Sie im folgenden Beispiel die Partitionierungsrichtlinie für die Tabelle MyTable so fest, dass sie von der Spalte mit dem Namen Timestamppartitioniert wird.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   Informationen zu den Partitionierungsrichtlinieneigenschaften finden Sie unter Partitionseigenschaften. Für die historische Datenaufnahme ist es wichtig, wie Sie die folgenden Eigenschaften konfigurieren:

   • Legen Sie die EffectiveDateTime-Eigenschaft auf ein Datum fest, das vor dem Beginn der Datenaufnahme liegt, um die Neupartitionierung auszulösen.
   • Legen Sie die RangeSize-Eigenschaft auf einen Tag fest, sodass die Daten in Buckets eines Tages neu partitioniert werden. Legen Sie diesen Wert jedoch so fest, dass er mit Ihren Daten übereinstimmt. Wenn Sie beispielsweise weniger als mehrere GBs von Daten pro Tag haben, sollten Sie einen größeren Wert festlegen.
   • Legen Sie " OverrideCreationTime " auf "true " fest, sodass nach der Neupartitionierung der Daten in Tages-Buckets die Erweiterungen mit diesem Tag als Erstellungszeit markiert sind.

2. Legen Sie eine Zusammenführungsrichtlinie fest, um das Zusammenführen aller Bereiche zu ermöglichen, einschließlich derer, die älter als 14 Tage sind. Legen Sie diese Richtlinie fest, da der Umverteilungsvorgang Bereiche erstellt, die älter als 14 Tage sind und standardmäßig vom Zusammenführungsvorgang ausgeschlossen werden.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. Überwachen Sie den Fortschritt der Partitionierung mithilfe des Befehls show database extents partitioning statistics. Suchen Sie in den zurückgegebenen Ergebnissen nach der Tabelle, die Sie neu partitionieren, und überwachen Sie die Spalte "PartitionedRowPercentage" . Wenn der Wert der PartitionedRowPercentage-Spalte lautet 100, ist die Neupartitionierung abgeschlossen.

Schritt 3: Bereinigen nach der Neupartitionierung

Wenn die Neupartitionierung abgeschlossen ist, bereinigen Sie die Richtlinien, die Sie in den vorherigen Schritten festgelegt haben.

1. Entfernen Sie die Partitionierungsrichtlinie.

   .delete table MyTable policy partitioning
   

2. Entfernen Sie die Zusammenführungsrichtlinie.

   .delete table MyTable policy merge
   

3. Cache-Richtlinie entfernen oder festlegen.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Entfernen oder Einstellen der Aufbewahrungsrichtlinie.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

Zugehöriger Inhalt

• Abfragedaten in Azure Data Explorer