通过

从 Google BigQuery 将数据安全地迁移到 Microsoft Fabric 镜像数据库

本指南可帮助你在 Microsoft Fabric 中的镜像 BigQuery 中建立数据安全性。

重要

我们支持使用本地数据网关（OPDG）对 Google BigQuery 进行镜像。 支持 OPDG 3000.286.6 或更高版本。 还支持 VNET。

安全注意事项

需要为包含以下权限的 BigQuery 数据库授予用户权限。

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

检索表元数据和更改历史记录配置（必需）

BigQueryAdmin 和 StorageAdmin 角色应包括这些权限。 若要确定是启用更改历史记录，还是检索主键或组合键信息，需要以下权限。

用户至少需要分配一个角色，该角色允许访问 BigQuery 实例。 检查访问 BigQuery 数据源的网络要求。 如果使用本地数据网关（OPDG）的 Google BigQuery 镜像功能，则必须拥有 OPDG 版本 3000.286.6 或更高版本才能成功启用镜像。

所需的权限

若要手动建立存储桶（并放弃需要授予 storage.buckets.create 权限），可以使用：

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. 导航到 Google 控制台中的 云存储 并选择 存储桶。
  2. 选择“ 创建 ”并按以下格式命名存储桶（区分大小写）： <projectid>_fabric_staging_bucket
  3. 确保存储桶的位置/区域与计划镜像的 GCP 项目相同。
  4. 选择 创建。 镜像系统将自动检测存储桶。

根据用例，可能需要更多权限。 所需的最低权限包括处理更改历史记录以及管理不同大小的表（包括大于 10GB 的表）。 即使您没有使用大于 10GB 的表，也请启用所有这些最低权限，以确保镜像功能正常使用。

检索更改历史记录和表数据（必需）

有关权限的详细信息，请参阅 Google BigQuery 文档，了解 流式处理数据的所需权限、 更改历史记录访问所需的权限，以及 写入查询结果所需的权限

读取更改历史记录和表数据需要以下权限。

重要

源 BigQuery 仓库中建立的任何精细安全性必须在 Microsoft Fabric 的镜像数据库中重新配置。 有关详细信息，请参阅 Microsoft Fabric 中的 SQL 粒度权限。

所需的权限

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

启用更改历史记录功能（必需）

必须使用以下选项 之一 在源 BigQuery 表上启用更改历史记录。

选项 1：启用权限

  • bigquery.tables.update

允许对表启用变更历史记录。

选项 2：在 GCP 中启用表选项

确保下表选项设置为 TRUE：

  • enable_change_history

将数据导出到 Google 云存储进行暂存和复制到 OneLake（必需）

需要以下权限才能将 BigQuery 数据导出到 Google 云存储进行暂存，并将其复制到 OneLake。

所需的权限

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

用于暂存的 Google 云存储存储桶（必需）

要导出 BigQuery 表数据以进行暂存，必须有一个 Google 云存储储存桶。

存储桶创建选项

使用以下方法之一：

选项 1：允许自动创建存储桶

授予以下权限：

  • storage.buckets.create

选项 2：手动创建暂存存储桶

使用以下命名约定创建存储桶： <your_project_id_in_lowercase>_fabric_staging_bucket

存储桶要求

  • 存储桶 必须与 BigQuery 数据集位于同一位置/区域。
  • 镜像系统会在存储桶存在时自动检测它。

列出数据集（必需）

所需的权限

  • bigquery.datasets.get

列出项目（必需）

所需的权限

  • resourcemanager.projects.get

角色和访问要求

BigQuery 管理员和存储管理员角色通常包括上面列出的权限。

必须至少分配一个角色来授予对目标 BigQuery 项目和数据集的访问权限。

网络和网关要求

检查访问 BigQuery 数据源的网络要求。

如果要 将 Mirroring for Google BigQuery 与本地数据网关（OPDG）配合使用，则必须使用：

  • OPDG 版本 3000.286.6 或更高版本

其他说明

根据用例，可能需要更多权限。 上面列出的权限表示 以下最低要求 ：

  • 使用更改历史记录
  • 处理各种大小的表，包括大于 10 GB 的表

即使当前未使用大于 10 GB 的表，建议启用所有最小权限以确保镜像成功。

有关详细信息，请参见:

重要

源 BigQuery 仓库中定义的任何精细安全性必须在 Microsoft Fabric 的镜像数据库中重新配置。 有关详细信息，请参阅 Microsoft Fabric 中的 SQL 粒度权限。

数据保护功能

可以将表上的列筛选器和基于谓词的行筛选器保护到 Microsoft Fabric 中的角色和用户：

可以使用动态数据掩码从非管理员用户屏蔽敏感数据。

相关内容

  • Last updated on