Automatisieren der Einrichtung von Unity Catalog mit Terraform

Sie können die Unity-Katalogeinrichtung mithilfe des Databricks Terraform-Anbieters automatisieren. Dieser Artikel enthält Links zum Bereitstellungshandbuch für den Terraform-Anbieter Unity-Katalog und zur Ressourcenreferenzdokumentation sowie zu den Anforderungen ("Bevor Sie beginnen") und Validierungs- und Bereitstellungstipps.

Bevor Sie anfangen

Um die Einrichtung des Unity-Katalogs mithilfe von Terraform zu automatisieren, müssen Sie folgendes haben:

• Ihr Azure Databricks Konto muss sich im Premium-Plan befinden.
• In Ihrem Azure-Mandant müssen Sie über die Berechtigung zum Erstellen verfügen:
  • Ein Speicherkonto, das mit Azure Data Lake Storage verwendet werden soll. Siehe Erstellen eines Speicherkontos zur Verwendung mit Azure Data Lake Storage.
  • Eine neue Ressource, die eine vom System zugewiesene verwaltete Identität enthalten soll. Dies erfordert, dass Sie Contributor oder Owner einer Ressourcengruppe in einem beliebigen Abonnement im Mandanten sind.

Um den Databricks Terraform-Anbieter zum Konfigurieren eines Metastores für Unity-Katalog, speicher für den Metastore, jeden externen Speicher und alle zugehörigen Zugriffsanmeldeinformationen zu verwenden, müssen Sie folgendes haben:

• Ein Azure Konto.
• Ein Administratorbenutzer auf Kontoebene in Ihrem Azure Konto.
• Auf Ihrem lokalen Entwicklungscomputer benötigen Sie Folgendes:

  • Die Terraform-Befehlszeilenschnittstelle. Siehe Download Terraform auf der Terraform-Website .

  • Die Azure CLI, die über den Befehl az login mit einem Benutzer angemeldet ist, der über Contributor oder Owner Rechte für Ihr Abonnement verfügt. Siehe Wie installieren Sie die Azure CLI. Informationen zum Anmelden mit einem Benutzerkonto oder Dienstprinzipal finden Sie unter Sign in with the Azure CLI.

    Hinweis

    Bei der Authentifizierung von automatisierten Tools, Systemen, Skripten und Apps gilt es als beste Sicherheitspraktik, sich über den Befehl az login mit einem Microsoft Entra ID Dienstprinzipal anzumelden. Siehe Anmelden mit einem Dienstprinzipal und Authentifizierung mit Azure-Serviceprinzipal.

Um den Databricks Terraform-Anbieter zum Konfigurieren aller anderen Unity Catalog-Infrastrukturkomponenten zu verwenden, müssen Sie folgendes haben:

• Ein Azure Databricks Arbeitsbereich.
• Auf Ihrem lokalen Entwicklungscomputer benötigen Sie Folgendes:
  • Die Terraform-Befehlszeilenschnittstelle. Siehe Download Terraform auf der Terraform-Website .
  • Eins der folgenden:

    • Databricks CLI Version 0.205 oder höher, konfiguriert mit Ihrem Azure Databricks personal-Zugriffstoken durch Ausführen von databricks configure --host <workspace-url> --profile <some-unique-profile-name>. Siehe auch Installieren oder Aktualisieren der Databricks CLI und Authentifizierung mit persönlichem Zugriffstoken (Legacy).

      Hinweis

      Als bewährte Sicherheitsmaßnahme empfiehlt Databricks, dass Sie bei der Authentifizierung mit automatisierten Tools, Systemen, Skripten und Apps persönliche Zugriffstoken von Dienstprinzipalen anstelle von Arbeitsbereichsbenutzern verwenden. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter "Verwalten von Token für einen Dienstprinzipal".

    • Der Azure CLI, der über den Befehl az login angemeldet ist. Siehe Wie installieren Sie die Azure CLI. Informationen zum Anmelden mit einem Benutzerkonto oder Dienstprinzipal finden Sie unter Sign in with the Azure CLI.

      Hinweis

      Bei der Authentifizierung von automatisierten Tools, Systemen, Skripten und Apps gilt es als beste Sicherheitspraktik, sich über den Befehl az login mit einem Microsoft Entra ID Dienstprinzipal anzumelden. Siehe Anmelden mit einem Dienstprinzipal und Authentifizierung mit Azure-Serviceprinzipal.

    • Die folgenden beiden Azure Databricks Umgebungsvariablen:

      • DATABRICKS_HOST, festgelegt uaf den Wert Ihrer Arbeitsbereichsinstanz-URL, z. B. https://dbc-1234567890123456.cloud.databricks.com
      • DATABRICKS_TOKEN auf den Wert Ihres Azure Databricks personal-Zugriffstokens oder Microsoft Entra ID (ehemals Azure Active Directory) token festgelegt. Siehe auch Überwachen und Widerrufen von persönlichen Zugriffstoken.

      Informationen zum Festlegen dieser Umgebungsvariablen finden Sie in der Dokumentation Ihres Betriebssystems.

      Hinweis

      Als bewährte Sicherheitsmaßnahme empfiehlt Databricks, dass Sie bei der Authentifizierung mit automatisierten Tools, Systemen, Skripten und Apps persönliche Zugriffstoken von Dienstprinzipalen anstelle von Arbeitsbereichsbenutzern verwenden. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter "Verwalten von Token für einen Dienstprinzipal".

Unity Catalog-Bereitstellungshandbuch für den Terraform-Anbieter und Ressourcenreferenzdokumentation

Informationen zum Bereitstellen aller Voraussetzungen und zum Aktivieren des Unity-Katalogs für einen Arbeitsbereich finden Sie unter Bereitstellen von erforderlichen Ressourcen und Aktivieren des Unity-Katalogs in der Databricks Terraform-Anbieterdokumentation.

Wenn Sie bereits über einige Unity Catalog-Infrastrukturkomponenten verfügen, können Sie Terraform verwenden, um bei Bedarf zusätzliche Unity Catalog-Infrastrukturkomponenten bereitzustellen. Lesen Sie jeden Abschnitt des Leitfadens, auf den im vorherigen Absatz verwiesen wird, und den Unity-Katalogabschnitt der Databricks Terraform-Anbieterdokumentation.

Überprüfen, Planen, Bereitstellen oder Zerstören der Ressourcen

• Führen Sie den terraform validate Befehl aus, um die Syntax der Terraform-Konfigurationen zu überprüfen, ohne sie bereitzustellen.
• Um die Aktionen anzuzeigen, die Terraform ausführen würde, um die Konfigurationen bereitzustellen, führen Sie den terraform plan Befehl aus. Dieser Befehl stellt die Konfigurationen nicht tatsächlich bereit.
• Führen Sie den terraform deploy Befehl aus, um die Konfigurationen bereitzustellen.
• Führen Sie den terraform destroy Befehl aus, um die bereitgestellten Ressourcen zu löschen.