Festlegen und Verwenden von Umgebungsvariablen mit Initskripts

Initskripts haben Zugriff auf alle Umgebungsvariablen, die in einem Cluster vorhanden sind.

Standardumgebungsvariablen

Azure Databricks legt viele Standardvariablen fest, die bei der Init-Skriptlogik nützlich sein können. Clusterspezifische und globale Initialisierungsskripts unterstützen die folgenden Umgebungsvariablen:

• DB_CLUSTER_ID: ID des Clusters, auf dem das Skript ausgeführt wird. Weitere Informationen finden Sie unter Cluster-API.
• DB_CONTAINER_IP: Private IP-Adresse des Containers, in dem Spark ausgeführt wird. Das Initialisierungsskript wird in diesem Container ausgeführt. Weitere Informationen finden Sie unter Cluster-API.
• DB_IS_DRIVER: Gibt an, ob das Skript auf einem Treiberknoten ausgeführt wird.
• DB_DRIVER_IP: IP-Adresse des Treiberknotens.
• DB_INSTANCE_TYPE: Instanztyp des virtuellen Hostcomputers.
• DB_CLUSTER_NAME: Name des Clusters, auf dem das Skript ausgeführt wird.
• DB_IS_JOB_CLUSTER: Gibt an, ob der Cluster zur Ausführung eines Auftrags erstellt wurde. Weitere Informationen finden Sie unter Konfigurieren von Compute für Aufträge.

Sie können diese vordefinierten Umgebungsvariablen nicht außer Kraft setzen.

Festlegen von benutzerdefinierten Umgebungsvariablen

Benutzerdefinierte Umgebungsvariablen, auf die Sie von init-Skripts zugreifen können, die in der Computeressource ausgeführt werden, können in der Spark-Konfiguration festgelegt werden. Siehe Umgebungsvariablen.

Sie können auch Umgebungsvariablen mithilfe des Felds spark_env_vars in der API zum Erstellen von Clustern oder der API zum Aktualisieren der Cluster festlegen.

Verwenden von Umgebungsvariablen

Im folgenden Beispiel wird eine Standardumgebungsvariable verwendet, um einen Teil eines Skripts nur auf einem Treiberknoten auszuführen:

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

Geheimnisse in Init-Skripten

Sie können einen beliebigen gültigen Variablennamen verwenden, wenn Sie auf ein Geheimnis verweisen. Der Zugriff auf Geheimnisse, auf die in Umgebungsvariablen verwiesen wird, wird durch die Berechtigungen des Benutzers oder der Benutzerin bestimmt, der oder die den Cluster konfiguriert hat. Geheimnisse, die in Umgebungsvariablen gespeichert sind, sind für alle Benutzer des Clusters zugänglich, werden jedoch aus der Klartextanzeige ausgeklammert.

Weitere Informationen finden Sie unter Verwenden eines Geheimnisses in einer Spark-Konfigurationseigenschaft oder -Umgebungsvariable.