Che cos'è la federazione di query?

Con la federazione delle query, le query vengono inoltrate al database remoto usando le API JDBC. La query viene eseguita sia in Databricks che usando il calcolo remoto. La federazione delle query viene usata per origini come MySQL, PostgreSQL, Redshift, Teradata e altro ancora.

Perché usare Lakehouse Federation?

Il lakehouse sottolinea l'archiviazione centrale dei dati per ridurre la ridondanza e l'isolamento dei dati. L'organizzazione potrebbe avere numerosi sistemi dati nell'ambiente di produzione e potrebbe essere necessario eseguire query sui dati nei sistemi connessi per diversi motivi:

• Creazione di report su richiesta.
• Lavoro di progetto pilota.
• Fase esplorativa delle nuove pipeline ETL o dei nuovi report ETL.
• Supporto dei carichi di lavoro durante la migrazione incrementale.

In ognuno di questi scenari, la federazione delle query consente di ottenere informazioni più rapide, perché è possibile eseguire query sui dati sul posto ed evitare l'elaborazione ETL complessa e dispendiosa in termini di tempo.

La federazione delle query è destinata ai casi d'uso in cui:

• Non si vogliono inserire dati in Azure Databricks.
• Si vuole che le query sfruttano le risorse di calcolo nel sistema di database esterno.
• Si vogliono ottenere i vantaggi delle interfacce e della governance dei dati di Unity Catalog, tra cui controllo di accesso con granularità fine, derivazione dei dati e ricerca.

Federazione di query e Lakeflow Connect

La federazione delle query consente di eseguire query su origini dati esterne senza spostare i dati. Databricks consiglia l'inserimento usando i connettori gestiti di Lakeflow Connect perché vengono ridimensionati per supportare volumi di dati elevati e una latenza di query inferiore. Tuttavia, è possibile eseguire query sui dati senza spostarli. Quando è possibile scegliere tra connettori di inserimento gestiti e federazione di query, opta per la federazione di query per la reportistica ad hoc o per la prova di concetto sulle pipeline ETL.

Se l'origine lo supporta, i connettori di inserimento basati su query sono un'alternativa leggera ai connettori CDC di Lakeflow Connect. Interrogano direttamente l'origine in base a una pianificazione usando una colonna di cursore, senza richiedere un gateway o un'archiviazione temporanea. Usare i connettori di inserimento basati su query quando è necessario l'inserimento ricorrente, ma non è disponibile l'infrastruttura CDC.

Panoramica della configurazione della federazione delle query

Per rendere disponibile un set di dati per l'esecuzione di query di sola lettura tramite Lakehouse Federation, creare quanto segue:

• Una connessione, un oggetto a protezione diretta in Unity Catalog che specifica un percorso e le credenziali per l'accesso a un sistema di database esterno.
• Un catalogo esterno è un oggetto proteggibile in Unity Catalog che esegue il mirroring di un database in un sistema di dati esterno. Consente di eseguire query di sola lettura su tale sistema di dati nell'area di lavoro Azure Databricks, gestendo l'accesso tramite Unity Catalog.

Origini dati supportate

La federazione di query supporta le connessioni alle fonti seguenti:

• MySQL
• PostgreSQL
• Teradata
• Oracle
• Amazon Redshift
• Salesforce Data 360
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Google BigQuery
• Databricks

Requisiti di connessione

Requisiti dell'area di lavoro:

• Area di lavoro attivata per il catalogo Unity. Le aree di lavoro create dopo il 9 novembre 2023 sono abilitate automaticamente per il catalogo Unity, compreso il provisioning automatico del metastore. Non è necessario creare manualmente un metastore a meno che l'area di lavoro non precedi l'abilitazione automatica e non sia stata abilitata per Unity Catalog. Consultare Abilitazione automatica di Unity Catalog.

Requisiti di calcolo:

• Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Vedi Raccomandazioni sulla rete per Lakehouse Federation.
• Il calcolo di Azure Databricks deve usare Databricks Runtime 13.3 LTS o versione successiva e in modalità di accesso Standard o Dedicated.
• I SQL warehouse devono essere pro o serverless e devono usare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

• Per creare una connessione, è necessario essere amministratore del metastore o un utente con il privilegio CREATE CONNECTION nel metastore Unity Catalog collegato all'area di lavoro. Nelle aree di lavoro abilitate automaticamente per Unity Catalog gli amministratori dell'area di lavoro hanno il CREATE CONNECTION privilegio per impostazione predefinita.
• Per creare un catalogo straniero, è necessario avere il permesso CREATE CATALOG sul metastore ed essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG sulla connessione. Nelle aree di lavoro abilitate automaticamente per Unity Catalog gli amministratori dell'area di lavoro hanno il CREATE CATALOG privilegio per impostazione predefinita.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie: Amministratore o utente Metastore con il privilegio CREATE CONNECTION.

Esploratore di cataloghi

1. Nell'area di lavoro Azure Databricks fare clic su Catalog.

2. Nella parte superiore del riquadro Catalogo fare clic Aggiungi e selezionare Crea una connessione dal menu.

3. Immettere un nome di connessione semplice.

4. Selezionare il Tipo di connessione (provider di database, ad esempio MySQL o PostgreSQL).

5. (Facoltativo) Aggiungere un commento.

6. Fare clic su Avanti.

7. Immettere le proprietà di connessione, ad esempio informazioni sull'host, percorso e credenziali di accesso.

   Ogni tipo di connessione richiede informazioni di connessione diverse. Vedere l'articolo relativo al tipo di connessione, elencato nel sommario a sinistra.

8. Fai clic su Crea connessione.

9. Immettere un nome per il catalogo esterno.

10. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

11. Fare clic su Crea Catalogo.

12. Selezionare le aree di lavoro in cui gli utenti possono accedere al catalogo creato. È possibile selezionare l'opzione Tutte le aree di lavoro hanno accesso, oppure fare clic su Assegna alle aree di lavoro, selezionare le aree di lavoro e quindi fare clic su Assegna.

13. Modifica il Proprietario che potrà gestire l'accesso a tutti gli oggetti del catalogo. Inizia a digitare un principale nella casella di testo e poi fai clic sul principale nei risultati restituiti.

14. Concedi privilegi sul catalogo. Fare clic su Concedi:

    1. Specificare i Principals che avranno accesso agli oggetti nel catalogo. Inizia a digitare un principale nella casella di testo e poi fai clic sul principale nei risultati restituiti.
    2. Selezionare i privilegi preimpostati da concedere a ciascun soggetto. A tutti gli utenti dell'account viene concesso il numero BROWSE per impostazione predefinita.
       • Selezionare Lettore dati dal menu a discesa per concedere read privilegi agli oggetti nel catalogo.
       • Selezionare Editor dati dal menu a discesa per concedere a read e modify privilegi sugli oggetti nel catalogo.
       • Selezionare manualmente i privilegi da concedere.
    3. Fare clic su "Concedi".
    4. Fare clic su Avanti.
    5. Nella pagina metadati, specificare le coppie chiave-valore dei tag. Per ulteriori informazioni, vedere Applicare tag a oggetti proteggibili del catalogo Unity.
    6. (Facoltativo) Aggiungere un commento.
    7. Fare clic su Salva.

SQL

Eseguire il comando seguente in un notebook o nell'editor di query SQL. Questo esempio riguarda le connessioni a un database PostgreSQL. Le opzioni variano in base al tipo di connessione. Vedere l'articolo relativo al tipo di connessione, elencato nel sommario a sinistra.

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare Azure Databricks secrets anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Per esempio:

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Per informazioni sulla gestione delle connessioni esistenti, vedere Gestione delle connessioni per Lakehouse Federation.

Creare un catalogo straniero

Un catalogo esterno esegue il mirroring di un database in un sistema dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, si utilizza una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il comando SQL CREATE FOREIGN CATALOG in un notebook Azure Databricks o nell'editor di query SQL. È anche possibile usare l'API Unity Catalog. Vedere Azure Databricks documentazione di riferimento.

I metadati del catalogo esterno vengono sincronizzati in Unity Catalog per ogni interazione con il catalogo. Per il mapping dei tipi di dati tra Unity Catalog e l'origine dati, consulta la sezione Mappature dei tipi di dati della documentazione di ogni origine dati.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esploratore di cataloghi

1. Nell'area di lavoro di Azure Databricks, fare clic su Catalog Explorer.

2. Nella parte superiore del riquadro Catalogo fare clic Aggiungi dati e selezionare Crea un catalogo dal menu.

   In alternativa, nella pagina accesso rapido fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.

3. Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.

SQL

Eseguire il comando SQL seguente in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituisci i valori segnaposto:

• <catalog-name>: Nome del catalogo in Azure Databricks.
• <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
• <database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks. Non obbligatorio per MySQL, che usa uno spazio dei nomi a due livelli.
• <external-catalog-name>: solo Databricks-to-Databricks: Nome del catalogo nell'area di lavoro esterna di Databricks di cui si esegue il mirroring. Consulta Creare un catalogo esterno.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Per informazioni sulla gestione e l'utilizzo di cataloghi stranieri, vedere Gestire e usare cataloghi stranieri.

Aggiornare i metadati usando i job di Lakeflow

Il catalogo unity aggiorna automaticamente i metadati per le tabelle esterne in fase di query. Se lo schema del catalogo esterno cambia, Il catalogo Unity recupera i metadati più recenti quando viene eseguita la query. Questo comportamento mantiene lo schema corrente ed è ottimale per la maggior parte dei carichi di lavoro.

Tuttavia, Databricks consiglia di aggiornare manualmente i metadati nei casi seguenti:

• Per mantenere la coerenza per le tabelle esterne accessibili dai motori esterni. I percorsi che ignorano Databricks Runtime non attivano gli aggiornamenti automatici, che possono comportare metadati non aggiornati.
• Per migliorare le prestazioni per i carichi di lavoro in cui si vuole evitare l'aggiornamento dei metadati durante l'esecuzione della query. L'aggiornamento proattivo dei metadati consente alle query di eseguire più velocemente usando i metadati memorizzati nella cache. Questo approccio è particolarmente utile immediatamente dopo la creazione di un catalogo esterno perché la prima query altrimenti attiverebbe un aggiornamento completo.

In questi casi, pianificare un aggiornamento periodico dei metadati usando un processo Lakeflow con il REFRESH FOREIGN comando SQL. Per esempio:

-- Refresh an entire catalog
> REFRESH FOREIGN CATALOG some_catalog;
-- Refresh a specific schema
> REFRESH FOREIGN SCHEMA some_catalog.some_schema;
-- Refresh a specific table
> REFRESH FOREIGN TABLE some_catalog.some_schema.some_table;

Configurare il processo per l'esecuzione a intervalli regolari a seconda della frequenza con cui si prevedono modifiche dello schema esterno.

Caricare dati da tabelle esterne con viste materializzate

Databricks consiglia di caricare dati esterni usando la federazione di query durante la creazione di viste materializzate. Vedere Viste materializzate.

Quando si usa la federazione di query, gli utenti possono fare riferimento ai dati federati come segue:

CREATE MATERIALIZED VIEW xyz AS SELECT * FROM federated_catalog.federated_schema.federated_table;

Visualizza le query federate generate dal sistema

La federazione di query converte le istruzioni SQL di Databricks in istruzioni che possono essere inserite nell'origine dati federata. Per visualizzare l'istruzione SQL generata, fare clic sul nodo di analisi dell'origine dati esterna nella visualizzazione del grafico di profilo di queryoppure eseguire l'istruzione EXPLAIN FORMATTED SQL. Per informazioni sulla copertura, consultare la sezione Pushdown supportato nella documentazione di ciascuna origine dati.

Limitations

• Le interrogazioni sono di sola lettura. L'unica eccezione è quando la Lakehouse Federation viene usata per federare il metastore Hive legacy di un'area di lavoro (catalog federation). Le tabelle esterne in questo scenario sono scrivibili. Consulta Che cosa significa scrivere in un catalogo esterno in un metastore Hive federato?.
• La limitazione delle connessioni viene determinata usando il limite del numero di query simultanee di Databricks SQL. Non è previsto alcun limite tra i magazzini per ogni connessione. Vedere Accodamento e logica di scalabilità automatica.
• La memorizzazione nella cache delle query di Databricks (Cache dei risultati e cache disco) non è supportata per le query federate. Ciò significa che il use_cached_result parametro non si applica alle query su origini federate.
• Le tabelle e gli schemi con nomi non validi nel catalogo unity non sono supportati e vengono ignorati dal catalogo Unity al momento della creazione di un catalogo esterno. Vedere l'elenco delle regole di denominazione e delle limitazioni in Limitazioni.
• I nomi delle tabelle e gli schemi vengono convertiti in lettere minuscole nel catalogo unity. Se ciò causa conflitti di nomi, Databricks non può garantire quale oggetto viene importato nel catalogo esterno.
• Per ogni tabella esterna a cui si fa riferimento, Databricks pianifica una sottoquery nel sistema remoto per restituire un subset di dati da tale tabella, e quindi restituisce il risultato a un task executor di Databricks attraverso un singolo flusso. Se il set di risultati è troppo grande, il processo di esecuzione potrebbe esaurire la memoria.
• La modalità di accesso dedicato (in precedenza modalità di accesso utente singolo) è disponibile solo per gli utenti proprietari della connessione.
• Lakehouse Federation non può federare tabelle esterne con identificatori con distinzione tra lettere maiuscole e minuscole per le connessioni Azure Synapse o Redshift.

Quote di risorse

Azure Databricks applica quote di risorse a tutti gli oggetti a protezione diretta di Unity Catalog. Queste quote sono elencate in Limiti delle risorse. I cataloghi stranieri e tutti gli oggetti che contengono sono inclusi nell'utilizzo totale delle quote.

Se si prevede di superare questi limiti di risorse, contattare il team dell'account Azure Databricks.

È possibile monitorare l'utilizzo delle quote usando le API delle quote delle risorse di Unity Catalog. Consulta Monitora le quote di utilizzo delle risorse di Unity Catalog.

Risorse aggiuntive

• Query federate (Lakehouse Federation) nel riferimento al linguaggio SQL
• Che cos'è la federazione del catalogo?
• Federazione Metastore Hive: abilitare Unity Catalog per gestire le tabelle registrate in un Metastore Hive
• Connettori basati su query