** Konfigurieren Sie den eingehenden Private Link für leistungsintensive Dienste

Auf dieser Seite wird gezeigt, wie Sie Private Link für eingehende Verbindungen mit leistungsintensiven Diensten auf der Azure Databricks-Plattform konfigurieren. Diese private Verbindung ermöglicht externen Clients und Benutzern den Zugriff auf Dienste auf der Azure Databricks-Plattform, z. B. Zerobus Ingest und Lakebase Autocaling.

Vorteile

• Enhanced security: Datenverkehr zwischen Ihrem Netzwerk und Databricks-Diensten bleibt innerhalb der Azure Netzwerkinfrastruktur.
• Zugriff auf leistungsintensive Dienste: Private Verbindungen zu Diensten wie Zerobus Ingest und Lakebase Autocaling.
• Complianceanforderungen: Erfüllen Sie regulatorische Anforderungen, die private Netzwerkkonnektivität festlegen.
• Cost-Effizienz: Private Link kosten weniger als öffentliche Konnektivitätsoptionen wie NAT-Gateways.

Anforderungen

• Ihr Azure Databricks Konto muss sich auf der Premium-Stufe befinden.
• Sie müssen das Feature Private Konnektivität für leistungsintensive Dienste der öffentlichen Vorschauversion in Ihrem Konto aktivieren. Sie können sich über die Kontokonsole selbst registrieren. Ohne dieses Feature werden private Endpunkte nicht in der Kontokonsole angezeigt.
• Sie müssen ein Azure Databricks Kontoadministrator sein, um private Endpunkte zu registrieren.
• Sie müssen über Netzwerkmitwirkende oder gleichwertige Berechtigungen in Azure verfügen, um private Endpunkte zu erstellen.

Schritt 1: Erstellen eines privaten Endpunkts

In diesem Schritt wird ein privater Endpunkt im Azure-Portal erstellt, der eine Verbindung mit Ihren leistungsintensiven Diensten auf Azure Databricks herstellt.

Vorbereiten von VNet und Subnetz

1. Bereiten Sie ein VNet und ein Subnetz vor, um den privaten Endpunkt zu hosten. Sie können ein neues VNet erstellen oder ein vorhandenes (z. B. Ihr Arbeitsbereich-VNet) wiederverwenden.
   • Informationen zum Erstellen eines neuen VNet finden Sie unter Create an Azure Virtual Network.
   • Informationen zum Hinzufügen eines Subnetzes finden Sie unter Hinzufügen, Ändern oder Löschen eines virtuellen Netzwerksubnetz.
2. Stellen Sie sicher, dass die Richtlinie für das private Endpunktnetzwerk in Ihrem Subnetz deaktiviert ist. Dies ist die Standardeinstellung. Details finden Sie unter Verwalten von Netzwerkrichtlinien für private Endpunkte .
3. Wenn Sie ein vorhandenes Arbeitsbereichs-VNet wiederverwenden, müssen Sie ein anderes Subnetz verwenden oder erstellen, als das vom Arbeitsbereich verwendete.
4. Wenn sich das VNet, das den privaten Endpunkt hostet, vom VNet-Sendedatenverkehr unterscheidet, konfigurieren Sie VNet-Peering oder Konnektivität. Siehe Überprüfen der VNet-Konnektivität.

Bereitstellen eines privaten Endpunkts

1. Suchen Sie im Azure-Portal nach Private-Endpunkten in Microsoft Marketplace, und wählen Sie Create aus.
2. Geben Sie einen Namen und einen Netzwerkschnittstellennamen ein, und legen Sie die Region so fest, dass sie Ihrer Arbeitsbereich-VNet-Region entspricht.
3. Klicken Sie auf Weiter: Ressource.
4. Wählen Sie Verbinden mit einer Azure Ressource nach Ressourcen-ID oder Alias aus.
5. Geben Sie im Feld Resource ID oder Alias die Service-Direct Private Link Dienstressourcen-ID für Ihre Region ein. Eine Liste der Ressourcen-IDs für den Service-Direct Private Link finden Sie unter den Service-Ressourcen-IDs.
6. Geben Sie im Feld "Ziel-Unterressource " die Zeichenfolge service_directein.
7. Klicken Sie auf Next: Virtual Network.
8. Wählen Sie das virtuelle Netzwerk und das Subnetz aus, das Sie im Abschnitt " Vorbereiten von VNet und Subnetz" vorbereitet haben.
9. Klicken Sie auf Weiter: DNS.
10. Lassen Sie Integration in private DNS-Zone auf Nein eingestellt. Sie konfigurieren DNS manuell in einem späteren Schritt.
11. Klicken Sie auf Weiter: Tags.
12. Klicken Sie auf Weiter: Überprüfen und erstellen.
13. Überprüfen Sie die Konfiguration, und klicken Sie auf "Erstellen ", um den privaten Endpunkt bereitzustellen.
14. Notieren Sie nach Abschluss der Bereitstellung die folgenden Werte:
    • Name des privaten Endpunkts: Der Name Ihres privaten Endpunkts.
    • Ressourcen-GUID: Wechseln Sie zur privaten Endpunktressource, klicken Sie auf DIE JSON-Ansicht, und suchen Sie den Wert in properties.resourceGuid. Dies ist in Schritt 2 erforderlich.
    • Private IP-Adresse: Suchen Sie in der JSON-Ansicht die IP-Adresse in properties.customDnsConfigs[0].ipAddresses[0]. Dies ist in Schritt 3 erforderlich.

Schritt 2: Registrieren Ihres privaten Endpunkts

Nachdem Sie Ihren privaten Endpunkt im Azure-Portal erstellt haben, registrieren Sie ihn bei Azure Databricks.

1. Wechseln Sie zur Azure Databricks Kontokonsole.
2. Klicken Sie in der Seitenleiste auf Sicherheit>Netzwerke>Endpunkte>Endpunkt registrieren.

Schritt 3: Konfigurieren von DNS

Nachdem Ihr privater Endpunkt registriert wurde, konfigurieren Sie DNS so, dass datenverkehr über den privaten Endpunkt mithilfe der privatelink.azuredatabricks.net Domäne weitergeleitet wird.

• Databricks empfiehlt eine Benennungskonvention, die die Region und den Zweck enthält, z. B. PE westus2 for service-direct.

1. Erstellen Sie eine Azure private DNS-Zone mit dem Namen privatelink.azuredatabricks.net.
   • Wenn Ihr Arbeitsbereich bereits eingehende Private Links verwendet (siehe Configure Inbound Private Link), verwenden Sie die vorhandene privatelink.azuredatabricks.net Zone.
   • Informationen zu neuen Zonen finden Sie unter Create an Azure private DNS zone using the Azure portal.
2. Verknüpfen Sie die private DNS-Zone mit dem VNet, das Ihren privaten Endpunkt hosten soll. Siehe "Verknüpfen des virtuellen Netzwerks".

Erstellen eines DNS-A-Eintrags

1. Wechseln Sie zu Ihrer privatelink.azuredatabricks.net privaten DNS-Zone.
2. Wählen Sie die Registerkarte "Recordsets " unter "DNS-Verwaltung" aus.
3. Klicken Sie auf "Hinzufügen" , um einen Datensatzsatz hinzuzufügen.
4. Konfigurieren Sie den A-Eintrag:
   • Name: <region>.service-direct (ersetzen Sie <region> durch Ihre Azure Region, z. B. westus2.service-direct)
   • Typ: A
   • IP-Adresse: Die private IP-Adresse von Ihrem privaten Endpunkt (in Schritt 1 aufgezeichnet)
5. Klicken Sie auf 'OK ', um den Datensatz zu speichern.

Überprüfen der DNS-Auflösung

Überprüfen Sie von einem Computer in Ihrem VNet oder von einem Job im Arbeitsbereich, der mit Ihrer privaten DNS-Zone verbunden ist, ob DNS-Abfragen zur privaten Endpunkt-IP aufgelöst werden.

nslookup westus2.service-direct.privatelink.azuredatabricks.net

Oder verwenden Sie dig:

dig westus2.service-direct.privatelink.azuredatabricks.net

Beide Befehle geben die private IP-Adresse Ihres privaten Endpunkts zurück.

Überprüfen der VNet-Konnektivität

Wenn sich der vom VNet generierte Datenverkehr vom VNet unterscheidet, das den privaten Endpunkt hostet, konfigurieren Sie VNet-Peering oder Konnektivität zwischen ihnen. Ausführliche Anleitungen finden Sie unter Azure Private Endpoint DNS-Integrationsszenarien.

Deaktivieren des öffentlichen Zugriffs (optional)

Der Abschluss des Private Link-Setups blockiert den Zugriff auf das öffentliche Internet für Ihren Arbeitsbereich nicht automatisch. Der öffentliche und private Zugriff sind unabhängige Einstellungen. Zum Erzwingen der reinen Verbindung mit privaten Netzwerken deaktivieren Sie den Zugriff auf das öffentliche Netzwerk:

1. Wechseln Sie im Azure-Portal zu Ihrer Azure Databricks Arbeitsbereichsressource.
2. Legen Sie unter "Einstellungen" die Option " Öffentliches Netzwerkzugriff zulassen " auf " Deaktivieren" fest.

Einschränkungen

• Leistungsintensive private Endpunkte gelten auf der Kontoebene und wirken sich automatisch auf alle Premium-Arbeitsbereiche in derselben Region aus.
• Jedes Konto ist auf 5 private Endpunkte für leistungsintensive Dienste pro Region und 100 pro Konto beschränkt. Wenden Sie sich an Ihr Azure Databricks Kontoteam, um Kontingenterhöhungen zu beantragen.

Nächste Schritte

• Stellen Sie Azure Databricks in Ihrem Azure-Virtuellen Netzwerk bereit (VNet-Injektion)
• Konfigurieren Sie 'Inbound Private Link'
• IP-Adressen und Domänen für Azure Databricks Dienste und Ressourcen