Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
L'abilitazione automatica delle funzionalità è disponibile in anteprima pubblica. Per registrarsi, completare questo modulo con l'ID account. Dopo la registrazione non sono necessarie modifiche al codice o altre configurazioni.
L'abilitazione automatica delle funzionalità aggiorna automaticamente le tabelle gestite di Unity Catalog per usare le funzionalità consigliate disponibili a livello generale senza richiedere modifiche al codice o istruzioni manuali ALTER TABLE . AFE verifica anche che i client siano compatibili prima di attivare nuove funzionalità.
AFE offre i vantaggi seguenti:
- Ridurre il lavoro amministrativo necessario per convalidare i singoli requisiti di compatibilità per ogni combinazione di tabelle e funzionalità nelle aree di lavoro, soprattutto se sono presenti cataloghi con migliaia di tabelle.
- Ottenere automaticamente i miglioramenti più recenti delle prestazioni e dell'affidabilità nelle tabelle gestite.
- Implementare gli aggiornamenti in modo sicuro. AFE attiva solo le funzionalità dopo aver verificato la compatibilità del carico di lavoro.
Funzionamento dell'AFE
AFE monitora i modelli di accesso del catalogo Unity a livello di tabella e schema e usa una finestra di osservazione di 50 giorni per verificare che i modelli di accesso siano compatibili prima di abilitare qualsiasi funzionalità. AFE usa il calcolo serverless per aggiornare le tabelle in background.
Schemi e tabelle
Il comportamento AFE dipende dal fatto che lo schema e le tabelle esistano prima dell'attivazione di AFE. Questa tabella include maggiori dettagli:
| Schema | Tabella | Comportamento AFE |
|---|---|---|
| Nuova | Nuova | AFE imposta le impostazioni predefinite a livello di schema in fase di creazione in modo che le tabelle ereditino immediatamente tutte le funzionalità supportate senza un periodo di osservazione. |
| Existing | Nuova | AFE attiva una funzionalità se solo i carichi di lavoro verificati hanno eseguito l'accesso a tutte le tabelle nello schema all'interno della finestra di osservazione di 50 giorni. In caso contrario, AFE non attiva le funzionalità per le nuove tabelle nello schema se un singolo carico di lavoro non verificato ha eseguito l'accesso a qualsiasi tabella nello schema. Vedere carichi di lavoro verificati. |
| Existing | Existing | AFE attiva una funzionalità quando tutte le condizioni seguenti sono vere:
|
Carichi di lavoro verificati
Un carico di lavoro viene considerato verificato per una funzionalità specifica se ha eseguito l'accesso alla tabella da un cluster Databricks con una versione di Databricks Runtime in corrispondenza o superiore alla versione minima richiesta della funzionalità.
I carichi di lavoro seguenti vengono considerati non verificati:
- Client esterni e servizi di terze parti, ad esempio Flink o Presto. Vedere Integrazioni del catalogo Unity.
- Servizi di Azure Databricks con accesso diretto o a livello di kernel, come Zerobus, che eludono i modelli di accesso standard di Databricks Runtime. Consulta Panoramica del connettore di Ingest Zerobus.
Se una tabella in uno schema è stata accessibile all'interno della finestra di osservazione di 50 giorni da una versione di Databricks Runtime al di sotto della versione minima richiesta della funzionalità o da un client esterno, AFE non attiva la funzionalità corrispondente in qualsiasi tabella di tale schema.
Funzionalità supportate
AFE può attivare automaticamente le funzionalità seguenti:
| Feature | Funzionamento | Versione minima compatibile di Databricks Runtime |
|---|---|---|
| Tracciamento delle righe | Mantiene gli ID di riga nascosti per l'elaborazione incrementale con feed di dati delle modifiche. | 14.1 |
| Mapping delle colonne | Consente di rinominare ed eliminare colonne senza riscrivere i dati. | 15.3 |
| Checkpoint V2 | Consente a Delta Lake di supportare più writer simultanei e riduce i conflitti di scrittura in tabelle di grandi dimensioni o aggiornate di frequente. | 13.3 |
| Commit gestiti tramite il catalogo | Centralizza i commit nel catalogo Unity per abilitare le transazioni a più tabelle, migliora l'interoperabilità per le scritture esterne e abilita i criteri di governance tra i motori. | 16.4 |
La disponibilità delle funzionalità può variare in base all'area.
Requisiti
- L'ambiente di calcolo serverless deve essere disponibile nell'area.
- Le tabelle devono essere tabelle gestite dal catalogo Unity in formati Delta Lake o Apache Iceberg.
Osservare le funzionalità abilitate
Per verificare se AFE ha attivato una funzionalità in una tabella, cercare un'operazione SET TBLPROPERTIES nella scheda Cronologia in Esplora cataloghi o usare DESCRIBE HISTORY <table_name>. Se AFE ha eseguito l'operazione, il campo nome utente mostra un valore hash anziché un nome utente, ad esempio 4d137f29-62. Vedere Che cos'è Esplora cataloghi? e Visualizza cronologia tabelle.
Dopo che AFE abilita le funzionalità nelle tabelle in un nuovo schema, visualizzare le impostazioni predefinite dello schema nella scheda Proprietà in Esplora cataloghi. Ad esempio, uno schema con rilevamento delle righe abilitato mostra una proprietà come catalog.schema.enableRowTracking: "true". Gli schemi esistenti non hanno proprietà di osservabilità AFE.
Gestire le funzionalità consigliate di AFE
Gli amministratori possono gestire il comportamento e le operazioni di AFE con vari controlli.
Annulla le modifiche
Usare RESTORE per ripristinare i dati e i metadati di una tabella a una versione prima dell'attivazione della funzionalità:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Per altre informazioni sulla cronologia e sul ripristino delle tabelle, vedere Ripristinare una tabella in uno stato precedente .
Disattivare le funzionalità per le tabelle
Per disattivare una funzionalità in una singola tabella:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
AFE non attiva di nuovo una funzionalità dopo averlo disattivato manualmente.
Limitazioni
- Le tabelle condivise da Delta Lake Sharing, da Databricks a Open e Da Databricks a Databricks, vengono escluse da AFE. Si veda Che cos'è Delta Sharing?.
- AFE non dispone di un meccanismo di rollback batch per disattivare una funzionalità in tutte le tabelle di un account. Vedere Gestire le funzionalità consigliate di AFE.
- Le viste materializzate e le tabelle di streaming non sono supportate.
- I carichi di lavoro che ignorano Il catalogo unity e accedono direttamente alle tabelle in base al percorso del file non vengono rilevati da AFE. Se i carichi di lavoro usano l'accesso basato sul percorso, contattare il team dell'account per discutere la compatibilità.
- Le tabelle esterne sono in genere accessibili dal percorso del file, ignorando il catalogo Unity e con carichi di lavoro non verificati da client esterni. Il catalogo Unity non è in grado di tenere traccia di questi modelli di accesso in modo affidabile, quindi le tabelle esterne vengono escluse da AFE. Consultare Lavorare con tabelle esterne.