Verwenden von Verbunddatenquellen in Microsoft Sentinel

Nach dem Einrichten von Verbunddatenconnectors können Sie über mehrere Schnittstellen in Microsoft Sentinel auf Ihre Verbundtabellen zugreifen. Verbundtabellen werden auf die gleiche Weise wie andere Data Lake-Tabellen verwendet. In diesem Artikel wird erläutert, wie Sie Verbundtabellen anzeigen, sie mithilfe von KQL (Kusto-Abfragesprache) abfragen und mit ihnen in Jupyter Notebooks arbeiten.

Voraussetzungen

Bevor Sie beginnen, stellen Sie Folgendes sicher:

• Ihr Mandant muss in den Sentinel Data Lake integriert werden. Weitere Informationen finden Sie unter Onboarding in Microsoft Sentinel Data Lake.
• Sie verfügen über die entsprechenden Berechtigungen zum Abfragen von Daten im Sentinel Data Lake. Weitere Informationen finden Sie unter Rollen und Berechtigungen in der Microsoft Sentinel-Plattform.

Grundlegendes zur Benennung von Verbundtabellen

Verbundtabellennamen folgen dem Muster <tableName>_<connectorInstanceName>. Zum Beispiel:

Wenn mehrere Tabellen im Connector instance denselben Tabellennamen haben, wird ein numerischer Bezeichner an den Connector instance Namen angefügt, z. widgets_ADLS01_1 B. wenn zwei Tabellen innerhalb des ADLS01 Connectors instance heißenwidgets.

Verwenden Sie den Namen der Verbundtabelle, wenn Sie Daten aus dem Sentinel Data Lake abfragen.

Anzeigen von Verbundtabellen in der Tabellenverwaltung

Die Tabellenverwaltungsansicht bietet eine Übersicht über alle Tabellen in Ihrem Sentinel Data Lake, einschließlich Verbundtabellen.

1. Navigieren Sie zu Microsoft Sentinel>Konfigurationstabellen>.
2. Wählen Sie den Filter Typ aus.
3. Wählen Sie Verbund unddann Anwenden aus.

Anzeigen von Tabellendetails

Wählen Sie eine Tabellenzeile aus, um den Detailbereich zu öffnen. Das Panel enthält drei Registerkarten:

Abfragen von Verbundtabellen mithilfe von KQL

Auf der Seite KQL-Abfragen in Microsoft Sentinel können Sie Verbundtabellen zusammen mit nativen Sentinel Daten abfragen. Verbundtabellen werden für KQL-Aufträge, interaktive und asynchrone Abfragen und MCP-Tools unterstützt.

1. Navigieren Sie zu Microsoft Sentinel>Data Lake exploration>KQL-Abfragen.

2. Wählen Sie in der Informationsleiste die Schaltfläche Ausgewählter Arbeitsbereich aus.

3. Wählen Sie Systemtabellen als einen der Arbeitsbereiche aus.

4. Erweitern Sie auf der Registerkarte Schema den Abschnitt Systemtabellen .

5. Erweitern Sie den Abschnitt Verbundtabellen .

6. Suchen Sie den Verbundtyp für Ihre Datenquelle, z. B. Microsoft Fabric, Azure Databricks oder Azure Data Lake Storage Gen2.

7. Erweitern Sie den Verbundtyp, um Ihre Verbundtabellen anzuzeigen.

8. Erweitern Sie eine Tabelle, um deren Spalten anzuzeigen.

Schreiben und Ausführen von Abfragen

Abfragen für Verbundtabellen funktionieren wie Abfragen für native Lake-Tabellen mit einigen wichtigen Unterschieden:

• Es ist möglich, dass eine Änderung am Schema einer Tabelle in der externen Quelle erfolgt. Dies kann zu einem Fehler während einer Abfrage führen, der darauf hinweist, dass eine Spalte nicht vorhanden ist. Aktualisieren Sie Spalten auf der Seite Tabellenverwaltung, indem Sie die Verbundtabelle auswählen, die Registerkarte Schema und dann Schema aktualisieren auswählen.

• Verbundtabellen ohne TimeGenerated Spalte oder, in denen eine TimeGenerated Spalte mit Daten im falschen Format vorhanden ist, können in Data Lake Explorer nicht verwendet werden, um Zeitbereiche mithilfe der Zeitauswahl auf der Benutzeroberfläche auszuwählen. Definieren Sie Datumsfilter im Textkörper der KQL, die dem Datumsformat Ihrer Verbundtabelle entsprechen.

Erstellen von KQL-Aufträgen aus Verbundabfragen

Sie können KQL-Aufträge basierend auf Abfragen erstellen, die Verbundtabellen verwenden:

1. Schreiben und testen Sie Ihre KQL-Abfrage mithilfe von Verbundtabellen.
2. Wählen Sie in der oberen rechten Ecke des Abfragebereichs die Schaltfläche Create job (Auftrag erstellen ) aus.
3. Konfigurieren Sie die Auftragseinstellungen, einschließlich Zeitplan und Ausgabeziel.
4. Speichern Sie den Auftrag.

Verbundtabellen werden für KQL-Aufträge, asynchrone Abfragen und MCP-Tools vollständig unterstützt.

Erstellen eines MCP-Tools mit Verbundtabellenabfragen

Sie können MCP-Tools basierend auf Abfragen erstellen, die Verbundtabellen verwenden:

1. Schreiben und testen Sie Ihre KQL-Abfrage mithilfe von Verbundtabellen.

2. Wählen Sie über dem Abfrage-Editor die Schaltfläche Als Tool speichern aus.

3. Passen Sie die Abfrage nach Bedarf an, z. B. parametrisieren Sie Werte.

4. Stellen Sie für jeden Verweis auf eine Verbundtabelle sicher, dass Sie dem Tabellennamen das Präfix vorangestellt haben workspace("default").. Wenn Ihre Tabelle z. B. lautet widgets_ADLS01, zeigt workspace("default").widgets_ADLS01 Ihr Code für diese Tabelle an.

5. Speichern Sie das Tool.

Verwenden von Verbundtabellen in Jupyter Notebooks

Auf Verbundtabellen kann in Jupyter Notebooks über die erweiterung Microsoft Sentinel VS Code zugegriffen werden.

In der Microsoft Sentinel VS Code-Erweiterung werden Verbundtabellen unter Lake Tables>Systemtabellen>Verbundtabellen angezeigt.

Das Arbeiten mit Verbundtabellen in Jupyter Notebooks folgt den gleichen Mustern wie systemeigene Systemtabellen:

1. Verwenden Sie den vollständigen Tabellennamen: Verweistabellen im <tableName>_<connectorInstance> Format.
2. Geben Sie keinen Arbeitsbereichsnamen an: Lesevorgänge erfordern keine Arbeitsbereichsspezifikation.
3. Schreibgeschützter Zugriff: Verbundtabellen sind schreibgeschützt; Sie können keine Daten zurück in Verbundquellen schreiben.

Jupyter Notebook-Aufträge

Sie können geplante Jupyter Notebook-Aufträge erstellen, die Verbundtabellen auf die gleiche Weise verwenden, wie Sie einen Notebookauftrag für native Data Lake-Tabellen erstellen würden:

1. Entwickeln Sie Ihr Notebook mit Verbundtabellenabfragen.
2. Testen Sie das Notebook, um sicherzustellen, dass Verbundabfragen ordnungsgemäß ausgeführt werden.
3. Erstellen Sie einen Auftrag aus dem Notebook.
4. Konfigurieren Sie den Auftragszeitplan und die Parameter.

Bewährte Methoden

Abfrageoptimierung

• Frühzeitige Anwendung von Filtern: Filtern Sie Nach Möglichkeit Daten an der Quelle, um die Datenübertragung zu reduzieren.
• Einschränken von Resultsets: Verwenden Sie take - oder limit -Klauseln während der Entwicklung.
• Projektionen verwenden: Wählen Sie nur die Spalten aus, die Sie zum Verbessern der Leistung benötigen.

Beispiel: Optimierte Abfrage

large_dataset_adls_connector
| where EventTime >= ago(1h)           // Filter early
| where EventType == "Login"           // Reduce data volume
| project EventTime, UserId, SourceIP  // Select needed columns
| take 10000                           // Limit results

Join-Strategien

• Verwenden Sie geeignete Jointypen: Wählen Sie innerleftouter, oder rightouter basierend auf Ihren Anforderungen aus.
• Vor dem Beitritt filtern: Reduzieren Sie das Datenvolumen vor Joinvorgängen.
• Datengrößen berücksichtigen: Platzieren Sie die kleinere Tabelle auf der rechten Seite des Joins.

Fehlerbehandlung

• Verbindung überprüfen status: Vergewissern Sie sich, dass die Verbundconnectorinstanzen vor der Abfrage verbunden sind.
• Behandeln von NULL-Werten: Externe Daten können unerwartete NULL-Werte enthalten; - oder isnull() -Funktionen verwendencoalesce().
• Überwachen der Abfrageleistung: Verfolgen Sie ausführungszeiten für Verbundabfragen nach, um Leistungsprobleme zu identifizieren.

Problembehandlung

Abfrage gibt keine Ergebnisse zurück

• Überprüfen Sie, ob sich der Connector instance in einem verbundenen Zustand befindet.
• Vergewissern Sie sich, dass die externe Datenquelle zusammen mit den tabellen verfügbar ist, die in der Abfrage als Ziel verwendet werden.
• Überprüfen Sie, ob Berechtigungen nicht aus dem Dienstprinzipal oder Sentinel verwalteten Identität basierend auf der Zieldatenquelle entfernt wurden.
• Vergewissern Sie sich, dass Sie das richtige Format für den Namen der Verbundtabelle verwenden.
• Stellen Sie sicher, dass Systemtabellen im Navigationsbereich für Ihre KQL-Abfragen oder Notebook-Sitzung verfügbar sind.

Die Abfrage ist langsam

• Wenden Sie Filter an, um das Datenvolumen zu reduzieren, das von externen Quellen abgefragt wird.
• Überprüfen Sie die Leistung und Verfügbarkeit der externen Quelle.
• Erwägen Sie das Erstellen von Zusammenfassungstabellen für daten, auf die häufig zugegriffen wird.

Schemakonflikt

• Überprüfen Sie das Tabellenschema in der Tabellenverwaltungsansicht.
• Passen Sie Ihre Abfrage an, um Schemaunterschiede zu behandeln.
• Überprüfen Sie, ob sich das Schema der externen Tabelle seit der Erstellung des Connectors geändert hat.

McP-Tools für Verbundtabellen können nicht ausgeführt werden

Stellen Sie sicher, dass Sie dem Tabellennamen workspace("default"). überall dort vorangestellt haben, wo Sie im MCP-Tool auf eine Verbundtabelle verweisen.

Nächste Schritte

• Übersicht über den Datenverbund
• Einrichten von Verbunddatenconnectors
• KQL-Abfragereferenz