Selvstudium: Konfigurer spejling til Google BigQuery (Preview)

I dette selvstudium skal du konfigurere en Fabric-spejlet database fra Google BigQuery.

Forudsætninger

• Opret eller brug et eksisterende BigQuery-lager. Du kan oprette forbindelse til en hvilken som helst version af BigQuery-instansen i en hvilken som helst cloud, herunder Microsoft Azure.
• Du har brug for en eksisterende Fabric-kapacitet. Hvis du ikke gør det, skal du starte en Fabric-prøveversion.

Tilladelseskrav

Du skal have brugertilladelser til din BigQuery-database, der indeholder følgende tilladelser:

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

Hent tabelmetadata og konfiguration af ændringshistorik (påkrævet)

Rollerne BigQueryAdmin og StorageAdmin skal omfatte disse tilladelser. Følgende tilladelser kræves for at afgøre, om ændringshistorik er aktiveret, og for at hente primærnøgle eller sammensat nøgleinformation.

Brugeren skal have tildelt mindst én rolle, der giver adgang til BigQuery-forekomsten. Tjek netværkskravene for at få adgang til din BigQuery-datakilde. Hvis du bruger Spejling til Google BigQuery til On-Premises Data Gateway (OPDG), skal du have OPDG-version 3000.286.6 eller nyere for at aktivere vellykket spejling.

Påkrævede tilladelser

For manuelt at oprette buckets (og undgå at skulle give storage.buckets.create-tilladelsen ) kan du bruge:

• bigquery.tables.get
• bigquery.tables.list
• bigquery.routines.get
• bigquery.routines.list

1. Navigér til Cloud Storage i din Google Console og vælg Buckets.
2. Vælg Opret og navngiv spanden i dette format (små bogstave): <projectid>_fabric_staging_bucket
3. Sørg for, at placeringen/regionen af spanden er den samme som i det GCP-projekt, du planlægger at spejle.
4. Vælg Opret. Spejlingssystemet vil automatisk registrere spanden.

Der kan være behov for flere tilladelser afhængigt af din brugssituation. De minimumsnødvendige tilladelser er til arbejde med ændringshistorik og håndtering af tabeller i forskellige størrelser (tabeller større end 10GB). Selvom du ikke arbejder med tabeller, der er større end 10 GB, skal du aktivere alle disse minimumstilladelser for at muliggøre en vellykket brug af din spejling.

Hent ændringshistorik og tabeldata (påkrævet)

Du kan få flere oplysninger om tilladelser i Google BigQuery-dokumentationen om påkrævede rettigheder til streamingdata, påkrævede tilladelser til adgang til ændringshistorik og påkrævede tilladelser til at skrive forespørgselsresultater

Følgende tilladelser er nødvendige for at læse ændringshistorik og tabeldata.

Påkrævede tilladelser

• bigquery.tables.getData
• bigquery.jobs.create
• bigquery.jobs.get
• bigquery.jobs.list
• bigquery.readsessions.create
• bigquery.readsessions.getData

Aktivering af ændringshistorik-funktioner (påkrævet)

Ændringshistorik skal være aktiveret på kildens BigQuery-tabeller ved hjælp af en af følgende muligheder.

Mulighed 1: Aktiver Tilladelse

• bigquery.tables.update

Tillader aktivering af ændringshistorik på tabeller.

Mulighed 2: Aktiver tabel-muligheden i GCP

Sørg for, at følgende tabelmulighed er sat til TRUE:

• enable_change_history

Eksporter data til Google Cloud Storage for staging og kopier til OneLake (påkrævet)

Følgende tilladelser kræves for at eksportere BigQuery-data til Google Cloud Storage til staging og kopiere dem ind i OneLake.

Påkrævede tilladelser

• bigquery.tables.export
• storage.objects.create
• storage.objects.list
• storage.buckets.get
• iam.serviceAccounts.signBlob

Google Cloud Storage Bucket til Staging (påkrævet)

En Google Cloud Storage-bucket er nødvendig for at eksportere BigQuery-tabeldata til staging.

Muligheder for spandoprettelse

Brug en af følgende tilgange:

Mulighed 1: Tillad automatisk spandoprettelse

Giv følgende tilladelse:

• storage.buckets.create

Mulighed 2: Opret manuelt staging-spanden

Opret en spand med følgende navngivningskonvention: <your_project_id_in_lowercase>_fabric_staging_bucket

Bucket-krav

• Spanden skal være i samme lokation/region som BigQuery-datasættet.
• Spejlingssystemet vil automatisk opdage spanden, når den eksisterer.

Listedatasæt (påkrævet)

Påkrævede tilladelser

• bigquery.datasets.get

Liste over projekter (påkrævede)

Påkrævede tilladelser

• resourcemanager.projects.get

Rolle- og adgangskrav

BigQuery-administrator- og Storage Admin-rollerne inkluderer typisk de ovennævnte tilladelser.

Brugeren skal tildeles mindst én rolle, der giver adgang til det målrettede BigQuery-projekt og datasæt.

Netværks- og gatewaykrav

Tjek netværkskravene for at få adgang til din BigQuery-datakilde.

Hvis du bruger Mirroring til Google BigQuery med on-premises Data Gateway (OPDG), skal du bruge:

• OPDG version 3000.286.6 eller senere

Yderligere noter

Flere tilladelser kan være nødvendige afhængigt af dit brugsscenarie. De ovennævnte tilladelser repræsenterer det minimumskrav, der kræves for:

• Arbejde med forandringshistorik
• Håndtering af tabeller i forskellige størrelser, inklusive tabeller større end 10 GB

Selv hvis du ikke arbejder med tabeller større end 10 GB, anbefales det at aktivere alle minimumstilladelser for at sikre vellykket spejling.

Du kan finde flere oplysninger under:

• Påkrævede privilegier for streaming af data
• Påkrævede tilladelser for adgang til ændringshistorik
• Påkrævede tilladelser til at skrive forespørgselsresultater

Oprette en spejlet database

I dette afsnit opretter du en ny spejlet database ud fra din spejlede BigQuery-datakilde.

Du kan bruge et eksisterende arbejdsområde (ikke Mit arbejdsområde) eller oprette et nyt arbejdsområde.

1. Fra dit arbejdsområde skal du gå til Hubben Opret .
2. Når du har valgt det arbejdsområde, du vil bruge, skal du vælge Opret.
3. Vælg kortet Spejlet Google BigQuery .
4. Angiv navnet på den nye database.
5. Vælg Opret.

Opret forbindelse til din BigQuery-forekomst i en hvilken som helst sky

1. Vælg BigQuery under Ny forbindelse, eller vælg en eksisterende forbindelse.

2. Hvis du har valgt Ny forbindelse, skal du angive forbindelsesoplysningerne i BigQuery-databasen.

   Indstilling af forbindelse	Beskrivelse
   E-mail til tjenestekonto	Hvis du har en allerede eksisterende tjenestekonto: Du kan finde mailadressen til din tjenestekonto og din eksisterende nøgle ved at gå til Tjenestekonti i din Google BigQuery-konsol. Hvis du ikke har en allerede eksisterende tjenestekonto: Gå til "Tjenestekonti" i din Google BigQuery-konsol, og vælg Opret tjenestekonto. Angiv et tjenestekontonavn (der genereres automatisk et tjenestekonto-id baseret på det indtastede tjenestekontonavn) og en tjenestekontobeskrivelse. Vælg Udført. Kopiér og indsæt tjenestekontoens mail i den angivne sektion med legitimationsoplysninger for forbindelser i Fabric.
   Indhold af JSON-nøglefil for tjenestekonto	På dashboardet Tjenestekonti skal du vælge Handlinger for din nyoprettede tjenestekonto. Vælg Administrer nøgler. Hvis du allerede har en nøgle pr. din tjenestekonto, skal du downloade indholdet af JSON-nøglefilen. Hvis du ikke allerede har en nøgle pr. tjenestekonto, skal du vælge Tilføj nøgle og Opret ny nøgle. Vælg derefter JSON. JSON-nøglefilen skal automatisk downloades. Kopiér og indsæt JSON-nøglen i sektionen med angivne legitimationsoplysninger for forbindelser på Fabric-portalen.
   Forbindelse	Opret ny forbindelse.
   Navn på forbindelse	Skal udfyldes automatisk. Skift det til et navn, som du gerne vil bruge.

3. Vælg database fra rullelisten.

Start spejlingsprocessen

1. Skærmen Konfigurer spejling giver dig som standard mulighed for at spejle alle data i databasen.

   • Spejling af alle data betyder, at alle nye tabeller, der er oprettet, når spejling er startet, spejles.

   • Du kan også vælge kun bestemte objekter, der skal spejles. Deaktiver indstillingen Spejling alle data , og vælg derefter individuelle tabeller fra databasen.

   I dette eksempel bruger vi indstillingen Spejl alle data .

2. Vælg Spejl database. Spejling begynder.

3. Vent 2-5 minutter. Vælg derefter Overvåg replikering for at se status.

4. Efter et par minutter skal status ændres til Kører, hvilket betyder, at tabellerne synkroniseres.

   Hvis du ikke kan se tabellerne og den tilsvarende replikeringsstatus, skal du vente et par sekunder og derefter opdatere panelet.

5. Når de er færdige med den indledende kopiering af tabellerne, vises der en dato i kolonnen Seneste opdatering .

6. Nu, hvor dine data kører, er der forskellige analysescenarier tilgængelige på tværs af hele Fabric.

Skærmspejling af stof

Når spejling er konfigureret, bliver du dirigeret til siden Spejlingsstatus . Her kan du overvåge den aktuelle replikeringstilstand.

Du kan finde flere oplysninger om replikeringstilstandene under Overvåg fabric-spejlvendt databasereplikering.

Relateret indhold

• Oversigt over Google BigQuery-spejling
• Hvad er Spejling i Fabric?