Freigeben über


Benutzerdefinierte Routeneinstellungen für Azure Databricks

Wenn Ihr Azure Databricks Arbeitsbereich für Ihr eigenes virtuelles Netzwerk (VNet) bereitgestellt wird, können Sie benutzerdefinierte Routen verwenden, die auch als benutzerdefinierte Routen (UDR) bezeichnet werden, um sicherzustellen, dass der Netzwerkdatenverkehr für Ihren Arbeitsbereich ordnungsgemäß weitergeleitet wird. Wenn Sie beispielsweise das virtuelle Netzwerk mit Ihrem lokalen Netzwerk verbinden, kann der Datenverkehr möglicherweise durch das lokale Netzwerk geleitet werden und die Azure Databricks-Steuerebene nicht erreichen. Benutzerdefinierte Routen können dieses Problem lösen.

Sie benötigen eine UDR für jeden Typ ausgehender Verbindungen aus dem VNET. Sie können sowohl Azure Diensttags als auch IP-Adressen verwenden, um Netzwerkzugriffssteuerungen für Ihre benutzerdefinierten Routen zu definieren. Databricks empfiehlt die Verwendung Azure Diensttags, um Dienstausfälle aufgrund von IP-Änderungen zu verhindern.

Configure benutzerdefinierte Routen mit Azure Diensttags

Databricks empfiehlt, Azure Diensttags zu verwenden, die eine Gruppe von IP-Adresspräfixen aus einem bestimmten Azure Dienst darstellen. Microsoft verwaltet die vom Dienste-Tag erfassten Adresspräfixe und aktualisiert den Dienste-Tag automatisch, wenn Adressen geändert werden. So können Sie Dienstausfälle aufgrund von IP-Änderungen vermeiden und es ist nicht mehr nötig, diese IP-Adressen in regelmäßigen Abständen nachzuschlagen und in Ihrer Routingtabelle zu aktualisieren. Wenn Ihre Unternehmensrichtlinien jedoch Diensttags nicht zulassen, können Sie optional die Routen als IP-Adressen angeben.

Bei Verwendung von Diensttags sollten Ihre benutzerdefinierten Routen die folgenden Regeln verwenden und die Routentabelle den öffentlichen und privaten Subnetzen Ihres virtuellen Netzwerks zuordnen.

Quelle Adresspräfix Typ des nächsten Hops
Standard AzureDatabricks Internet
Standard Storage Internet
Standard EventHub Internet

Hinweis

Sie können das Microsoft Entra ID-Dienst-Tag hinzufügen, um die Microsoft Entra ID-Authentifizierung von Azure Databricks-Clustern zu Azure-Ressourcen zu erleichtern.

Wenn Azure Private Link in Ihrem Arbeitsbereich aktiviert ist, ist das Azure Databricks Diensttag nicht erforderlich.

Das Azure Databricks-Diensttag stellt IP-Adressen für die erforderlichen ausgehenden Verbindungen mit der Azure Databricks Steuerebene, der secure cluster connectivity (SCC) und der Azure Databricks Webanwendung dar. Sie müssen auch Port 3306 für den Ausgehenden Datenverkehr in Ihrer Netzwerksicherheitsgruppe öffnen, um die Verbindung mit dem legacy-Hive-Metaspeicher zu ermöglichen.

Das Azure Storage-Diensttag stellt IP-Adressen für den Artefakt-BLOB-Speicher und den Protokoll-BLOB-Speicher bereit. Das Azure Event Hubs-Dienste-Tag stellt die erforderlichen ausgehenden Verbindungen für die Protokollierung an Azure Event Hub dar.

Einige Diensttags ermöglichen eine präzisere Steuerung, indem sie die IP-Adressbereiche auf eine bestimmte Region beschränken. So könnte beispielsweise eine Routentabelle für einen Azure Databricks Arbeitsbereich in den Regionen west-US wie folgt aussehen:

Name Adresspräfix Typ des nächsten Hops
adb-servicetag AzureDatabricks Internet
adb-storage Storage.WestUS Internet
adb-eventhub EventHub.WestUS Internet

Von Bedeutung

Wenn Sie Bereichsbezogene Diensttags verwenden, beachten Sie, dass sich einige Regionsendpunkte möglicherweise in einer anderen Azure Region befinden als der primäre Speicherendpunkt. Beispielsweise verfügt ein Arbeitsbereich in Japan Ost über seine sekundäre Artefaktspeicherung in Japan West. In diesem Fall müssen Sie auch ein Diensttag für die sekundäre Region hinzufügen. Informationen zum Überprüfen der FQDNs für die Region Ihres Arbeitsbereichs finden Sie unter Metastore, Artefakt-Blob-Speicher, Systemtabellenspeicher, Log-Blob-Speicher und Event Hubs-Endpunkt-IP-Adressen.

Informationen zum Abrufen der benötigten Diensttags für benutzerdefinierte Routen finden Sie unter Diensttags für virtuelle Netzwerke.

Konfigurieren benutzerdefinierter Routen mit IP-Adressen

Databricks empfiehlt, Azure Diensttags zu verwenden. Wenn Ihre Organisationsrichtlinien jedoch keine Diensttags zulassen, können Sie IP-Adressen verwenden, um Netzwerkzugriffssteuerungen für Ihre benutzerdefinierten Routen zu definieren.

Die Details variieren abhängig davon, ob secure cluster connectivity (sicher Cluster-Konnektivität, SCC) für den Arbeitsbereich aktiviert ist:

  • Wenn sichere Cluster-Konnektivität für den Arbeitsbereich aktiviert ist, benötigen Sie eine UDR, damit die Cluster eine Verbindung mit dem sicheren Cluster-Konnektivitätsrelay in der Steuerungsebene herstellen können. Stellen Sie sicher, dass Sie die Systeme, die als SCC-Relay-IP-Adresse gekennzeichnet sind, für Ihre Region mit aufnehmen.
  • Wenn die sichere Clusterkonnektivität für den Arbeitsbereich deaktiviert ist, besteht eine eingehende Verbindung von der NAT der Steuerungsebene, aber die TCP SYN-ACK auf niedriger Ebene für diese Verbindung sind technisch gesehen ausgehende Daten, die eine UDR erfordern. Stellen Sie sicher, dass Sie die Systeme, die als NAT-IP der Steuerungsebene gekennzeichnet sind, für Ihre Region angeben.

Ihre benutzerdefinierten Routen sollten die folgenden Regeln verwenden und die Routentabelle den öffentlichen und privaten Subnetzen Ihres virtuellen Netzwerks zuordnen.

Quelle Adresspräfix Typ des nächsten Hops
Standard NAT-IP der Steuerungsebene (wenn SCC deaktiviert ist) Internet
Standard SCC-Relay-IP (wenn SCC aktiviert ist) Internet
Standard Webapp-IP Internet
Standard IP-Adresse des Metastores Internet
Standard IP-Adresse des Blobspeichers für Artefakte Internet
Standard IP-Adresse des Protokollblobspeichers Internet
Standard IP-Adresse des Arbeitsbereichsspeichers – Blob Storage Endpunkt Internet
Standard Arbeitsbereichsspeicher-IP – ADLS (dfs)-Endpunkt Internet
Standard Event Hubs-IP Internet

Wenn Azure Private Link in Ihrem Arbeitsbereich aktiviert ist, sollten Ihre benutzerdefinierten Routen die folgenden Regeln verwenden und die Routentabelle den öffentlichen und privaten Subnetzen Ihres virtuellen Netzwerks zuordnen.

Quelle Adresspräfix Typ des nächsten Hops
Standard IP-Adresse des Metastores Internet
Standard IP-Adresse des Blobspeichers für Artefakte Internet
Standard IP-Adresse des Protokollblobspeichers Internet
Standard Event Hubs-IP Internet

Um die für benutzerdefinierte Routen erforderlichen IP-Adressen abzurufen, verwenden Sie die Tabellen und Anweisungen in Azure Databricks Regionen, insbesondere: