Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Von Bedeutung
Die automatische Featureaktivierung befindet sich in der öffentlichen Vorschau. Um sich zu registrieren, füllen Sie dieses Formular mit Ihrer Konto-ID aus. Nach der Registrierung sind keine Codeänderungen oder zusätzliche Konfigurationen erforderlich.
Die automatische Featureaktivierung (Automatic Feature Enablement, AFE) aktualisiert automatisch verwaltete Tabellen im Unity-Katalog, um allgemein verfügbare empfohlene Features zu verwenden, ohne Dass Codeänderungen oder manuelle ALTER TABLE Anweisungen erforderlich sind. AFE überprüft außerdem, ob Clients kompatibel sind, bevor neue Features aktiviert werden.
AFE bietet die folgenden Vorteile:
- Verringern Sie den verwaltungstechnischen Aufwand, der erforderlich ist, um individuelle Kompatibilitätsanforderungen für jede Tabelle und Featurekombination in Ihren Arbeitsbereichen zu überprüfen, insbesondere, wenn Sie Kataloge mit Tausenden von Tabellen haben.
- Erhalten Sie automatisch die neuesten Leistungs- und Zuverlässigkeitsverbesserungen in Ihren verwalteten Tabellen.
- Implementieren Sie Upgrades sicher. AFE aktiviert nur Features, nachdem die Workloadkompatibilität überprüft wurde.
Funktionsweise von AFE
AFE überwacht Zugriffsmuster des Unity-Katalogs auf Tabellen- und Schemaebene und verwendet ein 50-tägiges Beobachtungsfenster, um zu überprüfen, ob Zugriffsmuster kompatibel sind, bevor sie ein Feature aktivieren. AFE verwendet serverlose Rechenleistung, um Tabellen im Hintergrund zu aktualisieren.
Schemata und Tabellen
Das AFE-Verhalten hängt davon ab, ob das Schema und die Tabellen vorhanden sind, bevor AFE aktiviert wurde. Diese Tabelle enthält weitere Details:
| Schema | Tabelle | AFE-Verhalten |
|---|---|---|
| Neu | Neu | AFE legt die Standardeinstellungen auf Schemaebene zur Erstellungszeit fest, sodass Tabellen sofort alle unterstützten Features ohne Beobachtungszeitraum erben. |
| Vorhanden | Neu | AFE aktiviert ein Feature, wenn nur überprüfte Workloads innerhalb des 50-Tage-Beobachtungsfensters auf alle Tabellen im Schema zugegriffen haben. Andernfalls aktiviert AFE keine Features für neue Tabellen im Schema, wenn eine nicht überprüfte Workload auf irgendeine Tabelle im Schema zugegriffen hat. Siehe überprüfte Workloads. |
| Vorhanden | Vorhanden | AFE aktiviert ein Feature, wenn alle folgenden Bedingungen erfüllt sind:
|
Überprüfte Workloads
Eine Workload wird für ein bestimmtes Feature als überprüft betrachtet, wenn auf die Tabelle aus einem Databricks-Cluster mit einer Databricks-Runtime-Version bei oder über der mindestens erforderlichen Version des Features zugegriffen wird.
Die folgenden Arbeitslasten werden als nicht überprüft betrachtet:
- Externe Clients und Drittanbieterdienste wie Flink oder Presto. Siehe Unity-Katalogintegrationen.
- Azure Databricks Dienste mit direktem oder kernelbasiertem Tabellenzugriff, z. B. Zerobus, die standardmäßige Databricks-Runtime-Zugriffsmuster umgehen. Siehe Zerobus Ingest Connector Overview.
Wenn eine Tabelle in einem Schema innerhalb des 50-Tage-Beobachtungsfensters von einer Databricks-Runtime-Version unter der mindestens erforderlichen Version des Features oder von einem externen Client zugegriffen wurde, aktiviert AFE das entsprechende Feature in keiner Tabelle in diesem Schema.
Unterstützte Funktionen
AFE kann die folgenden Features automatisch aktivieren:
| Funktion | Was es tut | Mindestens kompatible Databricks-Runtime-Version |
|---|---|---|
| Zeilennachverfolgung | Verwaltet ausgeblendete Zeilen-IDs für die inkrementelle Verarbeitung mit Änderungsdatenfeed. | 14,1 |
| Spaltenzuordnung | Ermöglicht das Umbenennen und Ablegen von Spalten, ohne Daten neu zu schreiben. | 15,3 |
| Prüfpunkt V2 | Ermöglicht Delta Lake, mehr gleichzeitige Autoren zu unterstützen und Schreibkonflikte in großen oder häufig aktualisierten Tabellen zu reduzieren. | 13.3 |
| Katalog-gemanagte Commits | Zentralisiert Commits im Unity Catalog, um Transaktionen mit mehreren Tabellen zu ermöglichen, verbessert die Interoperabilität für externe Schreibvorgänge und erlaubt die Anwendung von Governance-Richtlinien über alle Engines hinweg. | 16.4 |
Die Verfügbarkeit von Features kann sich je nach Region unterscheiden.
Anforderungen
- Serverlose Berechnung muss in Ihrer Region verfügbar sein.
- Tabellen müssen verwaltete Tabellen im Unity-Katalog in Delta Lake- oder Apache Iceberg-Formaten sein.
Beobachten aktivierter Features
Um zu überprüfen, ob AFE ein Feature in einer Tabelle aktiviert hat, suchen Sie im Katalog-Explorer nach einem SET TBLPROPERTIES Vorgang auf der Registerkarte "Verlauf " oder verwenden Sie DESCRIBE HISTORY <table_name>es. Wenn AFE den Vorgang ausgeführt hat, zeigt das Benutzernamenfeld anstelle eines Benutzernamens einen Hashwert an, z 4d137f29-62. B. . Sehen Sie sich den Katalog-Explorer an? und zeigen Sie den Tabellenverlauf an.
Nachdem AFE Features für Tabellen in einem neuen Schema aktiviert hat, zeigen Sie die Standardeinstellungen des Schemas auf der Registerkarte "Eigenschaften " im Katalog-Explorer an. Ein Schema mit aktivierter Zeilenverfolgung zeigt z. B. eine Eigenschaft wie catalog.schema.enableRowTracking: "true". Vorhandene Schemas verfügen nicht über AFE-Observability-Eigenschaften.
Verwalten empfohlener AFE-Features
Administratoren können AFE-Verhalten und -Vorgänge mit verschiedenen Steuerelementen verwalten.
Wiederherstellen von Änderungen
Verwenden Sie diese Option RESTORE , um die Daten und Metadaten einer Tabelle auf eine Version zurückzuverwenden, bevor das Feature aktiviert wurde:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Weitere Informationen zum Tabellenverlauf und zur Wiederherstellung finden Sie unter "Wiederherstellen einer Tabelle in einem früheren Zustand ".
Deaktivieren von Features für Tabellen
So deaktivieren Sie ein Feature in einer einzelnen Tabelle:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
AFE aktiviert ein Feature nicht erneut, nachdem Sie es manuell deaktiviert haben.
Einschränkungen
- Tabellen, die von Delta Lake Sharing gemeinsam genutzt werden, sowohl Databricks-to-Open- als auch Databricks-to-Databricks, werden von AFE ausgeschlossen. Weitere Informationen finden Sie unter Was ist Delta Sharing?.
- AFE verfügt nicht über einen Batch-Rollback-Mechanismus, um eine Funktion in sämtlichen Tabellen eines Kontos zu deaktivieren. Siehe "Verwalten von empfohlenen Features von AFE".
- Materialisierte Ansichten und Streamingtabellen werden nicht unterstützt.
- Arbeitsauslastungen, die Unity-Katalog umgehen und direkt über den Dateipfad auf Tabellen zugreifen, werden von AFE nicht nachverfolgt. Wenn Ihre Workloads pfadbasierten Zugriff verwenden, wenden Sie sich an Ihr Kontoteam, um die Kompatibilität zu besprechen.
- Auf externe Tabellen wird in der Regel über den Dateipfad zugegriffen, der Unity-Katalog umgangen und nicht überprüfte Workloads von externen Clients verwendet. Der Unity-Katalog kann diese Zugriffsmuster nicht zuverlässig nachverfolgen, sodass externe Tabellen von AFE ausgeschlossen werden. Weitere Informationen finden Sie unter Arbeiten mit externen Tabellen.