取り込み時間の正規化

クエリ時間の解析

ASIM の概要に関する説明として、Microsoft Sentinelでは、クエリ時間と取り込み時間の正規化の両方を使用して、それぞれの利点を活用します。

クエリ時間の正規化を使用するには、クエリの_Im_Dnsなどのパーサーを統合するクエリ時間を使用します。 クエリ時間解析を使用した正規化には、いくつかの利点があります。

  • 元の形式を保持する: クエリ時間の正規化では、データを変更する必要がないため、ソースから送信された元のデータ形式が保持されます。
  • 潜在的な重複ストレージの回避: 正規化されたデータは元のデータのビューだけなので、元のデータと正規化されたデータの両方を格納する必要はありません。
  • 開発が容易: クエリ時間パーサーはデータのビューを表示し、データを変更しないため、簡単に開発できます。 パーサーの開発、テスト、修正はすべて、既存のデータで行うことができます。 さらに、問題が検出され、修正プログラムが既存のデータに適用されると、パーサーを修正できます。

時間解析の取り込み

ASIM クエリ時間パーサーは最適化されていますが、クエリ時間の解析では、特に大規模なデータ セットでクエリの速度が低下する可能性があります。

取り込み時間解析を使用すると、イベントを正規化されたスキーマに変換し、Microsoft Sentinelに取り込み、正規化された形式で格納できます。 取り込み時間の解析は柔軟性が低く、パーサーの開発は困難ですが、データは正規化された形式で格納されるため、パフォーマンスが向上します。

正規化されたデータは、Microsoft Sentinelのネイティブ正規化テーブル、または ASIM スキーマを使用するカスタム テーブルに格納できます。 ASIM スキーマに近いスキーマ (同一ではない) を持つカスタム テーブルは、取り込み時間の正規化のパフォーマンス上の利点も提供します。

現在、ASIM では、取り込み時間正規化の宛先として、次のネイティブ正規化テーブルがサポートされています。

ネイティブ正規化テーブルの利点は、ASIM 統合パーサーに既定で含まれていることです。 カスタム正規化テーブルは、「パーサーの 管理」で説明されているように、統合パーサーに含めることができます。

取り込み時間とクエリ時間の正規化の組み合わせ

クエリでは、クエリ時間と取り込み時間の正規化の両方を利用するために、_Im_Dnsなどのクエリ時間の統合パーサーを常に使用する必要があります。 ネイティブ正規化テーブルは、スタブ パーサーを使用してクエリされたデータに含まれます。

スタブ パーサーは、正規化されたテーブルを入力として使用するクエリ時間パーサーです。 正規化されたテーブルは解析を必要としないため、スタブ パーサーは効率的です。

スタブ パーサーは、ASIM ネイティブ テーブルに追加する呼び出し元のクエリにビューを表示します。

  • エイリアス - 繰り返し値のストレージを無駄にしないようにするために、エイリアスは ASIM ネイティブ テーブルに格納されず、スタブ パーサーによってクエリ時に追加されます。
  • 定数値 - 別名と同様に、同じ理由で、ASIM 正規化テーブルにも EventSchema などの定数値は格納されません。 スタブ パーサーは、これらのフィールドを追加します。 ASIM 正規化されたテーブルは多くのソースによって共有され、取り込み時間パーサーは出力バージョンを変更できます。 そのため、 EventProductEventVendorEventSchemaVersion などのフィールドは定数ではなく、スタブ パーサーによって追加されません。
  • フィルター処理 - スタブ パーサーでは、フィルター処理も実装されます。 ASIM ネイティブ テーブルでは、パフォーマンスを向上させるためにパーサーをフィルター処理する必要はありませんが、統合パーサーへのインクルードをサポートするにはフィルター処理が必要です。
  • Updatesと修正 - スタブ パーサーを使用すると、問題を迅速に修正できます。 たとえば、データが誤って取り込まれた場合、取り込み中に IP アドレスがメッセージ フィールドから抽出されていない可能性があります。 IP アドレスは、クエリ時にスタブ パーサーによって抽出できます。

カスタム正規化テーブルを使用する場合は、「パーサーの管理」で説明されているように、独自のスタブ パーサーを作成してこの機能を実装し、統合パーサーに追加 します。 ネイティブ テーブルのスタブ パーサー ( DNS ネイティブ テーブル スタブ パーサー とその フィルター処理など) を開始点として使用します。 テーブルが半正規化されている場合は、スタブ パーサーを使用して、必要な追加の解析と正規化を実行します。

パーサーの記述の詳細については、「 ASIM パーサーの開発」を参照してください。

取り込み時間の正規化の実装

取り込み時にデータを正規化するには、 データ収集規則 (DCR) を使用する必要があります。 DCR を実装する手順は、データの取り込み方法によって異なります。 詳細については、「インジェスト時にデータを変換またはカスタマイズする」の記事Microsoft Sentinelを参照してください。

KQL 変換クエリは、DCR のコアです。 DCR で使用される KQL バージョンは、パイプライン イベント処理の要件に対応するためにMicrosoft Sentinelの他の場所で使用されるバージョンとは若干異なります。 したがって、DCR で使用するには、クエリ時間パーサーを変更する必要があります。 相違点の詳細と、クエリ時間パーサーを取り込み時間パーサーに変換する方法については、 DCR KQL の制限事項に関するページを参照してください。

次の手順

詳細については、以下を参照してください。