Konfigurieren der serverlosen Umgebung

Auf dieser Seite wird erläutert, wie Sie mithilfe des Seitenbereichs " Umgebung " eines serverlosen Notizbuchs Abhängigkeiten, serverlose Nutzungsrichtlinien, Arbeitsspeicher und Basisumgebung konfigurieren. Dieser Bereich bietet einen zentralen Ort zum Verwalten der serverlosen Einstellungen des Notizbuchs. Die in diesem Bereich konfigurierten Einstellungen gelten nur, wenn das Notebook mit serverlosem Computing verbunden ist.

Um den Seitenbereich "Umgebung" zu erweitern, klicken Sie auf die rechts neben dem Notizbuch.

Verwenden der KI-Runtime (serverlose GPU)

Führen Sie die folgenden Schritte aus, um die KI-Runtime auf Ihrem Databricks-Notizbuch zu konfigurieren, die von serverlosem GPU-Computing unterstützt wird:

1. Klicken Sie in einem Notizbuch oben auf das Dropdownmenü "Compute", und wählen Sie "Serverless GPU" aus.
2. Klicken Sie auf das Um den Seitenbereich "Umgebung " zu öffnen.
3. Wählen Sie A10 aus dem Feld Beschleuniger aus.
4. Wählen Sie unter "Basisumgebung" die Option "Standard " für die Standardumgebung oder KI für die KI-optimierte Umgebung mit vorinstallierten Machine Learning-Bibliotheken aus.
5. Klicken Sie auf Übernehmen und Bestätigen Sie dann, dass Sie AI-Runtime auf Ihre Notebook-Umgebung anwenden möchten.

Weitere Details finden Sie unter AI Runtime.

Verwenden Sie serverlose Berechnung mit hohem Speicherbedarf

Wenn in Ihrem Notizbuch Fehler im Arbeitsspeicher auftreten, können Sie das Notizbuch so konfigurieren, dass eine höhere Arbeitsspeichergröße verwendet wird. Diese Einstellung erhöht die Größe des REPL-Speichers, der beim Ausführen von Code im Notizbuch verwendet wird. Sie wirkt sich nicht auf die Speichergröße der Spark-Sitzung aus. Die serverlose Verwendung mit hohem Arbeitsspeicher hat eine höhere DBU-Emissionsrate als standardspeicher.

Die verfügbaren Speicheroptionen sind:

• Standard: 16 GB Gesamtspeicher.
• Hoch: 32 GB Gesamtspeicher.

So konfigurieren Sie die Speichereinstellung des Notizbuchs:

1. Klicken Sie in der Benutzeroberfläche des Notizbuchs auf den Umgebungs-Seitenbereich.
2. Unter Speicherwählen Sie Hoher Arbeitsspeicheraus.
3. Klicken Sie auf Anwenden.

Diese Einstellung gilt auch für Aufgaben im Notizbuch, die mit den Speichereinstellungen des Notizbuchs ausgeführt werden. Das Aktualisieren der Speichereinstellung im Notizbuch wirkt sich auf die nächste Auftragsausführung aus.

Auswählen einer serverlosen Nutzungsrichtlinie

Serverlose Nutzungsrichtlinien ermöglichen Es Ihrer Organisation, benutzerdefinierte Tags auf serverlose Verwendung für eine differenzierte Abrechnungszuordnung anzuwenden.

Wenn Ihr Arbeitsbereich serverlose Verwendungsrichtlinien verwendet, um serverlose Verwendung zu attributieren, können Sie die serverlose Nutzungsrichtlinie auswählen, die Sie auf das Notizbuch anwenden möchten. Wenn ein Benutzer nur einer serverlosen Nutzungsrichtlinie zugewiesen ist, wird diese Richtlinie standardmäßig ausgewählt.

Sie können die serverlose Nutzungsrichtlinie auswählen, nachdem Ihr Notizbuch mit Serverless-Computing verbunden ist, indem Sie das Seitenpanel "Umgebung" verwenden.

1. Klicken Sie in der Benutzeroberfläche des Notizbuchs auf den Umgebungs-Seitenbereich.
2. Wählen Sie unter " Serverlose Nutzungsrichtlinie" die Serverlose Nutzungsrichtlinie aus, die Sie auf Ihr Notizbuch anwenden möchten.
3. Klicken Sie auf Anwenden.

Nach Abschluss der Einrichtung erbt die gesamte Notebook-Nutzung die individuellen Tags der serverlosen Nutzungsrichtlinie.

Auswählen einer Basisumgebung

Eine Basisumgebung bestimmt die vorinstallierten Bibliotheken und Umgebungsversion, die für Ihr serverloses Notizbuch verfügbar ist. Die Basisumgebungsauswahl im Seitenbereich " Umgebung " bietet eine einheitliche Schnittstelle für die Auswahl Ihrer Umgebung. Informationen zu den einzelnen Umgebungsversionen finden Sie unter Serverless Environment Versions. Databricks empfiehlt die Verwendung der neuesten Version, um die meisten up-to-date-Notizbuchfunktionen zu erhalten.

Die Auswahl der Basisumgebung umfasst die folgenden Optionen:

• Standard: Die Standardbasisumgebung mit von Databricks bereitgestellten Bibliotheken.
• KI: Eine KI-optimierte Basisumgebung mit vorinstallierten Machine Learning-Bibliotheken. Diese Option wird nur angezeigt, wenn ein Beschleuniger (GPU) ausgewählt ist.
• Weitere Optionen: Erweitert, um weitere Optionen anzuzeigen:
  • Frühere Versionen von Standard- und KI-Umgebungen.
  • Benutzerdefiniert: Ermöglicht Ihnen das Angeben einer benutzerdefinierten Umgebung mithilfe einer YAML-Datei.
• Arbeitsbereichsumgebungen: Listet alle kompatiblen Basisumgebungen auf, die von einem Administrator für Ihren Arbeitsbereich konfiguriert wurden.

So wählen Sie eine Basisumgebung aus:

1. Klicken Sie in der Benutzeroberfläche des Notizbuchs auf den Umgebungs-Seitenbereich.
2. Wählen Sie unter "Basisumgebung" im Dropdownmenü eine Umgebung aus.
3. Klicken Sie auf Anwenden.

Hinzufügen von Abhängigkeiten zum Notizbuch

Da Serverless keine Berechnungsrichtlinien oder Initialisierungsskripte unterstützt, müssen Sie benutzerdefinierte Abhängigkeiten mithilfe des Seitenbereichs Umgebung hinzufügen. Sie können Abhängigkeiten einzeln hinzufügen oder eine gemeinsam nutzbare Basisumgebung verwenden, um mehrere Abhängigkeiten zu installieren.

So fügen Sie eine Abhängigkeit einzeln hinzu:

1. Klicken Sie in der Benutzeroberfläche des Notizbuchs auf den Umgebungs-Seitenbereich.

2. Klicken Sie im Abschnitt "Abhängigkeiten" auf "Abhängigkeit hinzufügen ", und geben Sie den Pfad der Abhängigkeit in das Feld ein. Sie können eine Abhängigkeit in einem beliebigen Format angeben, das in einer Datei vom Typ requirements.txt gültig ist. Python-Wheel-Dateien oder Python-Projekte (z. B. das Verzeichnis mit einem pyproject.toml oder einem setup.py) können sich in Arbeitsbereichs-Dateien oder Unity-Katalogvolumen befinden.

   • Wenn Sie eine Datei des Arbeitsbereichs verwenden, sollte der Pfad absolut sein und mit /Workspace/ beginnen.
   • Wenn Sie eine Datei in einem Unity-Katalogvolume verwenden, sollte der Pfad im folgenden Format vorliegen: /Volumes/<catalog>/<schema>/<volume>/<path>.whl

3. Klicken Sie auf Anwenden. Dadurch werden die Abhängigkeiten in der virtuellen Notizbuchumgebung installiert und der Python Prozess neu gestartet.

Um installierte Abhängigkeiten anzuzeigen, klicken Sie im Seitenbereich "Umgebungen" auf die Registerkarte "Installiert". Die Pip-Installationsprotokolle für die Notebook-Umgebung sind ebenfalls verfügbar, indem Sie auf pip Installationsprotokolle unten im Panel klicken.

Erstellen einer benutzerdefinierten Umgebungsspezifikation

Sie können benutzerdefinierte Umgebungsspezifikationen erstellen und wiederverwenden.

1. Wählen Sie in einem serverlosen Notizbuch eine Basisumgebung aus, und fügen Sie alle Abhängigkeiten hinzu, die Sie installieren möchten.
2. Klicken Sie auf das unten im Umgebungsbereich und klicken Sie dann auf Umgebung exportieren.
3. Speichern Sie die Spezifikation als Arbeitsbereichsdatei oder in einem Unity-Katalogvolume.

Wenn Sie Ihre benutzerdefinierte Umgebungsspezifikation in einem Notizbuch verwenden möchten, wählen Sie " Benutzerdefiniert" im Dropdownmenü " Basisumgebung " aus, und verwenden Sie dann das Um Ihre YAML-Datei auszuwählen.

Erstellen Sie allgemeine Werkzeuge zur gemeinsamen Nutzung in Ihrem Arbeitsbereich

Das folgende Beispiel zeigt, wie Sie ein allgemeines Hilfsprogramm in einer Arbeitsbereichsdatei speichern und als Abhängigkeit in Ihrem serverlosen Notizbuch hinzufügen:

1. Erstellen Sie einen Ordner mit der folgenden Struktur. Stellen Sie sicher, dass Verbraucher Ihres Projekts über einen geeigneten Zugriff auf den Dateipfad verfügen:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Füllen Sie dies pyproject.toml wie folgt aus:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Fügen Sie der init.py Datei eine Funktion hinzu. Beispiel:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Wählen Sie auf der Benutzeroberfläche des Notebooks den Seitenbereich Umgebung aus: .

5. Klicken Sie im Abschnitt "Abhängigkeiten" auf "Abhängigkeit hinzufügen ", und geben Sie dann den Pfad der util-Datei ein. Beispiel: /Workspace/helper_utils.

6. Klicken Sie auf Anwenden.

Sie können nun die Funktion in Ihrem Notizbuch verwenden:

from helpers import greet
print(greet('world'))

Das wird ausgegeben als:

Hello, world!

Zurücksetzen der Umgebungsabhängigkeiten

Wenn Ihr Notizbuch mit serverloser Berechnung verbunden ist, speichert Databricks den Inhalt der virtuellen Umgebung des Notizbuchs automatisch zwischen. Dies bedeutet, dass Sie die Python Abhängigkeiten, die im Environment Seitenbereich angegeben sind, nicht erneut installieren müssen, wenn Sie ein vorhandenes Notizbuch öffnen, auch wenn die Verbindung aufgrund von Inaktivität getrennt wurde.

Die Zwischenspeicherung von virtuellen Python-Umgebungen gilt auch für Jobs. Wenn ein Auftrag ausgeführt wird, ist jede Aufgabe des Auftrags, die denselben Satz von Abhängigkeiten wie eine abgeschlossene Aufgabe in diesem Durchlauf teilt, schneller, da benötigte Abhängigkeiten bereits verfügbar sind.

Um den Umgebungscache zu löschen und eine Neuinstallation der im Seitenbereich Umgebung eines an eine serverlose Computeressource angehängten Notebooks angegebenen Abhängigkeiten durchzuführen, klicken Sie auf den Pfeil neben Anwenden und dann auf Standards wiederherstellen.

Wenn Sie Pakete installieren, die das Kernnotizbuch oder die Apache Spark-Umgebung unterbrechen oder ändern, entfernen Sie die problematischen Pakete, und setzen Sie dann die Umgebung zurück. Beim Starten einer neuen Sitzung wird der gesamte Umgebungscache nicht gelöscht.

Konfigurieren von Standard-Python Paketrepositorys

Arbeitsbereichsadmins können private oder authentifizierte Paketrepositorys in Arbeitsbereichen als Standard-pip-Konfiguration für serverlose Notebooks und serverlose Aufträge konfigurieren. Auf diese Weise können Benutzer Pakete aus internen Python-Repositorys installieren, ohne index-url oder extra-index-url explizit zu definieren.

Für Anweisungen können Arbeitsbereichsadministratoren auf Configure-Standard-Python Paketrepositorys verweisen.

Konfigurieren der Umgebung für Auftragsaufgaben

Bei Aufgabentypen wie Notebook-, Python-Skript-, Python-Wheel-, JAR- oder dbt-Aufgaben werden die Bibliotheksabhängigkeiten von der serverlosen Umgebungsversion geerbt. Um die Liste der installierten Bibliotheken anzuzeigen, siehe den Abschnitt Installierte Python-Bibliotheken oder Installierte Java- und Scala-Bibliotheken der von Ihnen verwendeten Umgebungsversion. Wenn eine Aufgabe eine nicht installierte Bibliothek erfordert, können Sie die Bibliothek aus Arbeitsbereichsdateien, Unity-Katalogvolumes oder öffentlichen Paketrepositorys installieren.

Für Notizbücher mit der Umgebung eines vorhandenen Notizbuchs können Sie die Aufgabe mithilfe der Umgebung des Notizbuchs ausführen oder sie überschreiben, indem Sie stattdessen eine Umgebung auf Auftragsebene auswählen.

So fügen Sie eine Bibliothek hinzu, wenn Sie eine Auftragsaufgabe erstellen oder bearbeiten:

1. Klicken Sie im Dropdownmenü "Umgebung und Bibliotheken " auf " " neben der Standardumgebung , oder klicken Sie auf +Neue Umgebung hinzufügen.

   

2. Wählen Sie in der Dropdownliste Umgebungsversion die Umgebungsversion aus. Weitere Informationen finden Sie unter Versionen der serverlosen Umgebung. Databricks empfiehlt die Auswahl der neuesten Version, um die aktuellsten Features zu erhalten.

3. Wählen Sie im Dialogfeld Umgebung konfigurieren die Option + Bibliothek hinzufügen aus.

4. Wählen Sie im Dropdownmenü unter Bibliotheken den Typ der Abhängigkeit aus.

5. Geben Sie im Textfeld Dateipfad den Pfad zur Bibliothek ein.

   • Bei einem Python Rad in einer Arbeitsbereichsdatei sollte der Pfad absolut sein und mit /Workspace/ beginnen.
   • Bei einem Python-Wheel in einem Unity-Katalogvolumen sollte der Pfad /Volumes/<catalog>/<schema>/<volume>/<path>.whl sein.
   • Wählen Sie für eine Datei requirements.txt die Option „PyPi“ aus, und geben Sie -r /path/to/requirements.txt ein.

   

6. Wählen Sie Bestätigen oder + Bibliothek hinzufügen aus, um eine weitere Bibliothek hinzuzufügen.

7. Wenn Sie eine Aufgabe hinzufügen, klicken Sie auf " Aufgabe erstellen". Wenn Sie eine Aufgabe bearbeiten, klicken Sie auf "Aufgabe speichern".

Basisumgebungen für Auftragsaufgaben

Serverlose Aufträge unterstützen benutzerdefinierte Basisumgebungen, die mit YAML-Dateien für Python-, Python Rad- und Notizbuchaufgaben definiert sind. Für Notizbuchaufgaben können Sie entweder eine benutzerdefinierte Basisumgebung in der Umgebungskonfiguration des Auftrags auswählen oder die eigenen Umgebungseinstellungen des Notizbuchs verwenden, die sowohl Arbeitsbereichumgebungen als auch benutzerdefinierte Basisumgebungen unterstützen. In allen Fällen werden zur Laufzeit nur die für die Aufgabe erforderlichen Abhängigkeiten installiert. Sie können eine benutzerdefinierte Basisumgebung direkt in den Umgebungseinstellungen des Auftrags auswählen. Informationen zum Erstellen einer benutzerdefinierten Basisumgebung finden Sie unter Erstellen einer benutzerdefinierten Umgebungsspezifikation.

Verwaltete Basisumgebungen in Aufgaben

Sie können verwaltete Basisumgebungen direkt in den Umgebungseinstellungen des Auftrags auswählen. Dazu gehören Arbeitsbereichsbasisumgebungen, die von einem Arbeitsbereichsadministrator und Basisumgebungen konfiguriert werden, die von Azure Databricks bereitgestellt werden, z. B. Standard und AI. Dies sind die gleichen Basisumgebungen, die in der Notizbuchumgebungsauswahl verfügbar sind. Informationen zum Erstellen und Verwalten von Arbeitsbereichsbasisumgebungen finden Sie unter Verwalten serverloser Arbeitsbereichsbasisumgebungen.

Verwaltete Basisumgebungen werden für Notizbuch-, Python-Skript- und Python-Wheel-Aufgaben unterstützt. Sie werden für JAR-Aufgaben nicht unterstützt.

Umgebungs- und Rechenkompatibilität

Die ausgewählte Basisumgebung muss mit dem Computetyp der Aufgabe kompatibel sein. Beispielsweise ist eine für GPU-Compute integrierte Umgebung nicht mit der CPU-Berechnung kompatibel. In der Job-UI sind inkompatible Umgebungen im Dropdown-Menü für die Basisumgebung ausgegraut.

Wenn Sie eine Notizbuchaufgabe konfigurieren, kann der Computetyp (CPU oder GPU) und die Basisumgebung jeweils aus den Auftragseinstellungen oder den Notizbucheinstellungen stammen.

• Wenn Sie einen Hardwarebeschleuniger (GPU) auf Auftragsebene festlegen, müssen Sie auch eine Basisumgebung auf Auftragsebene auswählen. Sie können die Umgebung des Notebooks nicht mit einem Job-Level-Beschleuniger verwenden.
• Wenn Sie den Computetyp des Notizbuchs ändern (z. B. von CPU zu GPU), nachdem Sie einen Auftrag erstellt haben, der darauf verweist, könnten vorhandene Aufgaben mit ihrer konfigurierten Umgebung möglicherweise inkompatibel werden. Überprüfen Sie die Umgebungseinstellungen Ihrer Jobs, nachdem Sie die Rechnerkonfiguration des Notebooks geändert haben.
• Wenn die Basisumgebung für API-Benutzer auf Auftragsebene festgelegt ist, der Computetyp jedoch vom Notizbuch geerbt wird, wird die Kompatibilität zur Laufzeit und nicht zur Auftragserstellung überprüft. Wenn die Konfiguration nicht kompatibel ist, schlägt die Ausführung mit einem Fehler fehl.