你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
随着安全数据量的持续增长，组织面临着平衡用于 AI、合规性和调查的遥测经济高效保留的挑战，同时确保仅在高性能存储层中保留必要的数据。 在Microsoft Sentinel中使用筛选和拆分数据转换，通过在引入时修改数据来优化数据保留策略来应对这一挑战。
本文介绍如何配置筛选和拆分数据转换，而无需手动创建自定义数据收集规则 (DCR) 配置。 通过定制数据引入，这些转换可以提高性能并减少干扰。
通过使用数据转换，可以通过控制存储哪些数据以及存储在哪个层中来优化安全数据管道。 使用筛选器和拆分转换具有以下优势：
成本优化：通过筛选出无助于威胁检测的低价值数据来降低存储和处理成本。 将访问频率较低的数据路由到经济高效的 Data Lake 存储，同时将高优先级数据保留在分析层中。
提高 SOC 效率：将安全运营中心 (SOC) 集中在可操作的高价值事件上。 通过在引入时消除干扰，分析师在筛选不相关的日志时花费的时间更少，而更多的时间调查实际威胁。
更快的查询性能：分析层中较小的数据集可缩短查询执行时间。 这种改进使威胁搜寻、事件调查和分析规则更具响应性。
合规性和保留灵活性：在 Data Lake 层中维护全面的数据保留，以便进行法规审核和取证分析，同时针对操作工作负载优化分析层。 此方法在不影响性能的情况下满足合规性要求。
可缩放的数据管理：随着组织数据量的增长，转换有助于保持对成本和性能的控制。 跨表应用一致的策略，以确保可预测的数据管理。
筛选和拆分转换是更大的转换框架中的第一步，该框架使你能够根据需求改进数据。 有关数据转换概念的详细信息，请参阅 Microsoft Sentinel 中的自定义数据引入和转换。
先决条件
在配置筛选或拆分转换规则之前，请验证以下要求：
Microsoft Sentinel工作区必须载入到 Defender 门户。 有关详细信息，请参阅将Microsoft Sentinel连接到Microsoft Defender门户。
在具有统一的基于角色的访问控制 (RBAC) 的Microsoft Defender门户中，数据 (管理 “数据操作权限”组下的) 权限。
对于Microsoft Sentinel工作区，需要以下权限：
Log Analytics 参与者 角色，提供：
- Microsoft.OperationalInsights/workspaces/write
- Microsoft.OperationalInsights/workspaces/tables/write 权限到 Log Analytics 工作区。
支持的表
筛选和拆分转换具有不同的表支持要求：
- 筛选：支持数据收集规则 (DCR) 的任何表都受支持。
- 拆分：支持仅分析引入、仅数据湖引入和数据收集规则的任何表 (DCR) 。
若要验证连接器的表是否支持 DCR，请参阅查找Microsoft Sentinel数据连接器。
筛选器转换
通过筛选器转换，可以通过在引入期间丢弃对调查无用的数据来降低干扰。 使用筛选器转换规则指定 KQL 条件，该条件确定要筛选出哪些数据，并将剩余数据发送到分析层。
在需要以下情况下使用筛选器转换：
- 降低干扰：通过筛选出防火墙日志中的“允许”事件等例程低严重性日志，将 SOC 集中在可操作事件上。
- 优化成本：通过丢弃不会导致威胁检测的数据来降低存储和处理成本。
- 提高性能：通过减少存储的数据量来加快查询速度并简化分析。
请考虑以下筛选器转换示例：
企业依赖于防火墙日志来识别异常情况。 大多数防火墙日志是严重性较低的常规“允许”事件，不会导致威胁检测。 若要仅保留关键事件（如阻止的流量或高严重性），并筛选掉低值日志，请创建具有 KQL 条件的筛选器转换规则，以便仅将“不允许”事件的中等或高严重性数据发送到分析层。
拆分转换
通过拆分转换，可以根据指定的条件在分析层和数据湖层之间路由数据。 使用拆分转换规则定义 KQL 表达式，该表达式确定哪些数据进入 Analytics。 与表达式不匹配的数据仅路由到 Data Lake 层。
注意
配置拆分转换时，为分析层指定的数据也会镜像到 Data Lake 层。 与分析条件不匹配的数据仅进入 Data Lake 层。 此配置可确保所有数据在 Data Lake 中保持可用，以实现长期保留和符合性目的。
如果需要通过将数据路由到适当的存储层来平衡成本和性能，请使用拆分转换：
- 优化存储成本：将较旧或较少访问的日志路由到 Data Lake 层，实现经济高效的长期存储。
- 保持性能：在分析层中保留最新的日志，以便在活动威胁搜寻期间更快地进行查询。
- 满足合规性要求：保留历史日志进行法规审核和取证分析，而不会降低操作敏捷性。
请考虑以下拆分转换示例：
企业每天引入数百万个防火墙日志条目，用于威胁检测和符合性。 SOC 团队需要实时访问最近的日志进行活动调查，但还必须保留历史日志进行监管审核。 创建拆分转换规则，将实时数据路由到分析层，将历史数据路由到 Data Lake 层。
重要
在 Microsoft Sentinel 中创建的转换可能与使用 DCR 在 Azure Monitor 中创建的转换冲突。 例如，如果 DCR 已应用于除特定区域外的所有区域的表，并且应用了仅筛选该区域的筛选器，则不会引入任何数据。 确保了解并检查将 DCR 和转换应用于表的组合效果。
配置筛选器转换规则
按照以下步骤创建筛选器转换规则：
在Microsoft Defender门户中，转到“Microsoft Sentinel>配置>表”。
选择一个表。 在侧面板中，选择 “筛选器规则”。
在侧面板中，输入 “规则名称”。
在 “条件” 字段中，输入一个 KQL 表达式，用于指定要筛选出的数据。对于不想引入的数据，KQL 表达式的计算结果应为 true。
将 规则状态 开关设置为 “开” 以启用筛选器。
重要
筛选器筛选出数据。与筛选条件匹配的数据将被丢弃，并且不会引入到 Analytics 或 Data Lake 层。 确保 KQL 表达式准确捕获要排除的数据。
若要添加另一个条件，请选择“ 添加条件 ”并输入新的 KQL 表达式以筛选出数据。 多个条件与逻辑 OR 相结合，因此筛选出与任何条件匹配的数据。
选择“ 保存” 以应用规则。
通过检查表的 “转换规则” 列来验证是否应用了筛选器规则。 当筛选器规则处于活动状态时，列将显示“ 筛选器 ”。
配置拆分转换规则
按照以下步骤创建拆分转换规则：
在 Defender 门户中，转到“Microsoft Sentinel>配置>表”。
选择一个表，然后选择“ 拆分规则”。
在侧面板中，输入 “规则名称”。
在 KQL 表达式 字段中，输入用于定义要引入到分析层的数据的 KQL 表达式。 与此表达式不匹配的数据将引入到 Data Lake 层。
选择“ 保存” 以应用规则。
通过检查表的 “转换规则” 列来验证拆分规则是否已应用。 当 拆分 规则处于活动状态时，列将显示“拆分”。
注意
引入 Data Lake 层的拆分数据将进入与原始表同名但带有“_SPLT”后缀的单独表中。 例如，如果将拆分规则应用于“FirewallLogs”表，则路由到 Data Lake 层的数据将引入到单独的“FirewallLogs_SPLT”表中。 通过此设置，可以单独管理分析和 Data Lake 层的保留和访问策略。
配置拆分表的保留期
创建拆分规则后，为每个层配置保留设置：
在原始表下，查看生成的 Analytics 和 Data Lake 拆分表。
若要配置保留期，请选择“Analytics”或“Data Lake”表。
选择“ 数据保留设置”。
配置保留期并保存。
或者，选择原始表，并从合并 的数据保留设置 对话框中配置 Analytics 和 Data Lake 保留。
管理规则
若要管理现有规则，请选择表，然后选择 “拆分规则 ”或“ 筛选规则 ”，具体取决于要管理的规则类型。
- 若要禁用规则，请选择“ 规则状态 ”开关以关闭规则，然后选择“ 保存”。
- 通过选择“ 删除”删除规则。
通过运行 KQL 查询来验证规则，确认数据已正确引入并路由到正确的层。
已知限制
使用筛选和拆分转换时，请注意以下限制：
XDR 表可见性：应用于 XDR 表的拆分和筛选转换在前 30 天的数据中不会出现在高级搜寻中。 应用转换，一旦数据老化超过前 30 天，它就会在高级搜寻中正常运行。 从 Log Analytics 或Microsoft Sentinel查询的数据会立即反映成本节省。
传播延迟：转换可能需要长达一小时才能生效。
表支持：仅支持数据收集规则 (DCR 的表) 支持拆分和筛选转换。