你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

在Microsoft Sentinel数据湖中设置联合数据连接器

本文介绍如何配置联合数据连接器,以启用从Microsoft Sentinel数据湖查询外部数据源。 可以与 Azure Databricks、Azure Data Lake Storage (ADLS) Gen 2 和 Microsoft Fabric 联合。

先决条件

在设置数据联合之前,请确保满足以下要求:

  • Sentinel数据湖载入:租户必须载入Sentinel数据湖。 有关详细信息,请参阅载入到Microsoft Sentinel数据湖

  • 公共可访问性:外部源必须可公开访问。 当前不支持专用终结点。

  • 服务主体:Azure Databricks 和Azure Data Lake Storage Gen2源需要对要连接的数据源具有适当权限的服务主体。 有关详细信息,请参阅Microsoft Entra ID应用注册

  • Azure 密钥保管库:需要使用服务主体客户端密码配置的Azure 密钥保管库。 Microsoft Sentinel应用程序标识需要分配给密钥保管库的权限。 有关配置密钥保管库Azure的详细信息,请参阅 Azure Key Vault

  • Microsoft Sentinel权限数据 (管理对系统表) 权限,以配置数据联合连接器。 有关详细信息,请参阅 Microsoft Sentinel 平台中的角色和权限

创建服务主体

对于 Azure Databricks 和 ADLS Gen 2 联合身份验证,需要具有存储在 Azure 密钥保管库 中的访问凭据的服务主体。 可以使用现有服务主体,也可以使用以下步骤创建新的服务主体。

  1. 创建Microsoft Entra ID应用程序注册

    1. 在Azure 门户中,导航到Microsoft Entra ID>应用注册
    2. 选择“新注册”
    3. 输入应用程序的名称。
    4. 将重定向 URI 留空 (此方案) 不需要。
    5. 选择“注册”。
  2. 创建客户端密码

    1. 在应用注册中,转到 “证书 & 机密”。
    2. 选择“新建客户端密码”。
    3. 输入说明并选择到期期限。
    4. 选择“添加”。
    5. 立即复制客户端机密值,以便在下一部分使用。 离开页面后,无法检索此值。
  3. 请注意应用程序详细信息

    • 应用程序(客户端)ID
    • 对象 ID
    • 目录 (租户) ID

有关创建服务主体的详细信息,请参阅Microsoft Entra ID应用注册

创建Azure 密钥保管库并存储凭据

可以使用现有Azure 密钥保管库并按照以下步骤配置密钥保管库访问权限,或者使用以下步骤创建新的密钥保管库:

  1. 创建Azure 密钥保管库

    1. 在Azure 门户中,创建新的Azure 密钥保管库。
    2. 使用Azure基于角色的访问控制 (建议) 权限模型。
    3. 为密钥保管库启用软删除和清除保护设置。
    4. 创建后,请注意密钥保管库 URI。
  2. 配置密钥保管库访问权限

    1. 密钥保管库机密用户角色分配给Microsoft Sentinel平台的托管标识。 标识的 msg-resources-前缀为 。
    2. 如果使用 Key Vault 的访问策略而不是Azure基于角色的访问控制,请提供机密管理操作的获取和列表权限。
  3. 将客户端密码存储在 密钥保管库

    1. 在密钥保管库中,转到>机密生成/导入”。
    2. 创建包含服务主体客户端密码的新机密。
    3. 记下机密名称。 它在配置数据联合连接器实例时使用。

有关配置密钥保管库Azure的详细信息,请参阅 Azure Key Vault

联合数据连接器

联合连接器在 Defender 门户Microsoft Sentinel的“数据连接器”页上进行管理。

  1. 导航到Microsoft Sentinel>配置>数据连接器

  2. “数据联合”下,选择“ 目录 ”以查看可用的联合连接器。

    目录页显示:

    • 可用的联合连接器类型
    • 每个连接器的已配置实例数
    • 发布者和支持信息

    显示包含可用连接器的数据联合目录的屏幕截图。

  3. 选择“ 我的连接器”页 可查看所有配置的连接器实例。 该页列出了租户的数据联合连接器实例及其显示名称、版本、状态和支持提供程序。

  4. 选择每个实例以查看详细信息、编辑配置或删除实例。

显示“我的连接器”页的屏幕截图,其中包含配置的联合实例。

创建连接器实例

创建连接器实例的过程因要连接到的外部数据源而异。 按照特定数据源类型的说明进行操作。

创建 Microsoft Fabric 连接器实例

在配置 Fabric 连接器实例之前,必须在 Microsoft Fabric 环境中设置权限,以允许Microsoft Sentinel访问数据。

  • 在 Microsoft Fabric 中配置管理员设置,以便为租户启用外部数据共享。有关详细信息,请参阅 创建外部数据共享

  • 在 Microsoft Fabric 中配置管理员设置,以便为 服务主体可以调用 Fabric 公共 API 启用该设置。 有关详细信息,请参阅 服务主体可以调用 Fabric 公共 API

  • 在要从中联合表的 Lakehouse 上添加Sentinel平台标识,其前缀msg-resources-为工作区成员。 有关详细信息,请参阅 授予对工作区的访问权限

  1. “数据联合>目录 ”页上,选择 “Microsoft Fabric” 行。

  2. 在侧面板中,选择“ 连接连接器”。

  3. 输入以下信息:

    字段 说明
    实例名称 此连接器实例的友好名称。 此实例名称将追加到此实例中的湖中表示的表。
    构造工作区 ID 要联合的 Fabric 工作区的 ID。 导航到 Fabric 工作区或 Lakehouse 时,工作区 ID 位于之后的 URL 中 /groups/
    Lakehouse 表 ID 要联合的 Fabric Lakehouse 表的 ID。 导航到 Fabric lakehouse 时,在 后面的 /lakehouses/URL 中会显示 lakehouse ID。
  4. 选择 下一步

    Microsoft Fabric 连接详细信息窗体的屏幕截图。

  5. 选择要联合的表。

  6. 选择 下一步

  7. 查看联合目标配置。

  8. 选择“ 连接 ”以创建连接实例。

注意

目标数据源中的文件必须采用增量 parquet 格式才能从Sentinel数据湖中读取。

验证连接器实例中的表

创建连接器实例后,检查联合表在 Microsoft Sentinel 中可用。

  1. 导航到Microsoft Sentinel>配置>表

  2. 按类型 “联合” 进行筛选,查看所有联合表。

  3. 按连接器实例名称搜索。

  4. 将列出连接器实例中的表,其名称后 _instance name跟 。 例如,如果数据连接器实例名称为 GlobalHRData ,而表名为 hrlogs,则表名称显示为 hrlogs_GlobalHRData

  5. 从列表中选择一个表以打开详细信息面板。

  6. 选择“ 概述 ”选项卡以查看表类型和联合提供程序。

  7. 选择“ 数据源 ”选项卡,查看表的连接器实例数据提供程序和源产品。 选择连接器实例名称会将你转到数据连接器中的“我的连接器”中的该实例。

  8. 选择“ 架构 ”选项卡以查看表架构。

  9. 在“ 架构 ”选项卡上,选择“ 刷新 ”以刷新与联合表关联的表架构。

显示联合表架构的屏幕截图。

管理连接器实例

修改或删除连接器实例:

  1. 导航到 “数据联合>我的连接器”页
  2. 选择要管理的连接器实例。
  3. 在详细信息面板中,使用可用选项来:
    • 编辑连接设置
    • 添加或删除联合表
    • 删除连接器实例

注意

Microsoft Fabric 连接实例不支持编辑。 可以创建新的联合连接以添加更多表,也可以删除 Fabric 连接实例,并使用相同的实例名称和所选表集重新创建它。

显示“我的连接器”页的屏幕截图。

疑难解答

连接失败

  • 验证前缀msg-resources-为 的 Sentinel 平台托管标识对 Azure 密钥保管库 具有正确的权限。

  • 如果连接源Azure Databricks 或 Azure Data Lake Storage Gen2,请确保密钥保管库机密包含服务主体的正确客户端密码。

  • 在连接器配置期间,必须将密钥保管库网络设置为“允许来自所有网络的公共访问”,这是密钥保管库的默认配置。 可以在创建或编辑连接器后对其进行更改。

  • 确认外部数据源可公开访问。

  • 检查服务主体是否对Azure Databricks 和 ADLS 的目标数据源具有适当的权限。

  • 如果目标数据源是 Fabric,检查msg-resources-已向Microsoft Sentinel的前缀标识授予工作区成员权限。

  • 检查以确保连接实例不超过 100 个。

注意

ADLS 和 Azure Databricks 为每个联合连接使用一个连接实例。 每个联合连接,Fabric 可能会使用更多实例。 对于 Fabric,联合连接中的每个 lakehouse 架构都计入 100 个实例的限制。

表不显示

  • 验证服务主体是否具有对 ADLS 和 Azure Databricks 的目标表的读取访问权限,并且服务主体与这些数据源位于同一租户中。

  • 对于 Databricks,请确保已向服务主体授予内置数据读取者权限预设以及外部使用架构权限。

  • 对于 ADLS Gen 2,请确认已将存储 Blob 数据读取者角色分配给服务主体。

查询性能问题

  • 请考虑从外部源查询的数据的大小。

  • 优化查询以尽早筛选数据。

  • 检查Sentinel与外部源之间的网络连接。

后续步骤