Konfigurieren von benutzerdefinierten Livepools in Microsoft Fabric

Gilt für:✅ Fabric Data Engineering und Data Science

Individuelle Live-Pools sind vorhydratisierte Spark-Cluster, die einen schnellen Sitzungsstart für Notizbücher in Microsoft Fabric ermöglichen. In diesem Artikel wird gezeigt, wie Sie benutzerdefinierte Livepools erstellen, konfigurieren und verwalten, um eine optimale Leistung zu erzielen.

Voraussetzungen

Stellen Sie vor dem Einrichten von benutzerdefinierten Livepools folgendes sicher:

• Zugriff auf einen Microsoft Fabric-Arbeitsbereich mit einer kostenpflichtigen Fabric-SKU (Fabric-Testkapazitäten werden nicht unterstützt)
• Administratorrolle im Arbeitsbereich
• Eine aktive Fabric-Kapazität , die Ihrem Arbeitsbereich zugewiesen ist
• Eine veröffentlichte Fabric-Umgebung , die für die Bibliothekskonfiguration verwendet werden soll.

Erstellen eines benutzerdefinierten Pools für den Livepool

Erstellen Sie zunächst einen benutzerdefinierten Spark-Pool. Sie aktivieren die Livepoolberechnung für diesen Pool in einem späteren Schritt.

1. Navigieren Sie zu Ihrem Fabric-Arbeitsbereich.
2. Wählen Sie "Arbeitsbereichseinstellungen" im Menüband für den Arbeitsbereich aus.
3. Erweitern Sie "Data Engineering/Science ", und wählen Sie "Spark"-Einstellungen aus.
4. Wählen Sie die Registerkarte "Pool " aus.
5. Wählen Sie im Dropdownmenü "Standardpool für Arbeitsbereich " die Option "Neuer Pool" aus.
6. Geben Sie einen Namen für den Pool ein. Dies ist ein eindeutiger Bezeichner für den Pool (z. B. "dev-team-pool" oder "prod-daily-analytics")
7. Wählen Sie eine Knotenfamilie und knotengröße für Ihre Workload aus.
8. Aktivieren Sie das Kontrollkästchen "Autoskalieren ", um die automatische Skalierung für den Pool zu aktivieren.
9. Legen Sie die Mindestknoten auf mindestens 2 fest.

Konfigurieren eines Livepools

Nachdem Sie einen benutzerdefinierten Spark-Pool erstellt haben, aktivieren Sie die Berechnung des Livepools über die Umgebungseinstellungen .

1. Öffnen Sie in Ihrem Fabric-Arbeitsbereich die Umgebung, die Sie an einen benutzerdefinierten Livepool anfügen möchten.

2. Wählen Sie im linken Bereich "Berechnen" aus.

3. Wählen Sie den Pool aus, den Sie im vorherigen Schritt erstellt haben, aus der Dropdownliste aus.

4. Wählen Sie unter "Live-Pool" das Optionsfeld aus, um die Berechnung des Livepools für diese Umgebung zu aktivieren.

   

5. Wählen Sie unter „Live-Pool-Zeitplan“ das Optionsfeld aus, um es zu aktivieren. Alle benutzerdefinierten Livepools müssen über einen Zeitplan verfügen. Cluster werden nur während des geplanten Fensters hydratisiert.

6. Geben Sie die Zeitplaneinstellungen an:

   • Gibt an, ob der Zeitplan wiederholt wird.
   • Start- und Endtag und -uhrzeit
   • Zeitzone
   • Wann der Pool deaktiviert und reaktiviert werden soll
   • Andere Einstellungen wie zutreffend

   Von Bedeutung

   Fabric verwendet die standardmäßige Spark-Bereitstellung für Aktivitäten außerhalb des geplanten Fensters, die langsamere Startzeiten aufweist. Cluster werden außerhalb des vorgesehenen Zeitfensters nicht warm gehalten.

   Tipps zur Planung finden Sie unter "Bewährte Methoden planen".

7. Speichern Sie die Computeeinstellungen.

8. Wählen Sie im oberen Menüband die Schaltfläche " Veröffentlichen " aus.

Nach der Veröffentlichung ist der Pool aktiv, und Fabric beginnt mit dem Hydratisieren der Cluster vor der nächsten Zeitplanperiode.

Überwachen des Poolstatus

So überprüfen Sie den Status Ihres benutzerdefinierten Livepools:

1. Öffnen Sie im Fabric-Portal den Monitoring Hub.

2. Suchen Sie die veröffentlichte Umgebung, und wählen Sie die Auslassungspunkte (...) aus, um das Kontextmenü zu öffnen.

3. Wählen Sie " Details anzeigen" aus.

   

4. Erweitern Sie im rechten Bereich den Status des Livepools , um den aktuellen Status des Pools anzuzeigen.

Der Status des Livepools enthält Details wie:

• Poolstatus: Beispielsweise "Aktiv", "Hydrating", "Leerlauf" oder "Beendet"
• Verfügbare Cluster: Anzahl der Cluster, die für Notizbuchsitzungen bereit sind
• Beschäftigter Cluster: Anzahl der derzeit ausgeführten Clustersitzungen
• Nächster Zeitplan: Anstehendes Aktivitätsfenster

Bewährte Methoden

Um benutzerdefinierte Livepools optimal zu verwenden, sollten Sie die folgenden bewährten Methoden für Konfiguration und Verwaltung berücksichtigen:

Optimieren für Kosten und Leistung

• Anzahl der Anforderungen ausrichten: Legen Sie die maximale Clusteranzahl basierend auf erwarteten gleichzeitigen Sitzungen fest. Die Überbereitstellung erhöht die Kosten.
• Überwachen der Auslastung: Überprüfen Sie die Poolmetriken regelmäßig, und passen Sie die Clusteranzahl bei Bedarf an.
• Skalieren Sie Zeitpläne effizient: Vermeiden Sie überlappende Zeitpläne für mehrere Pools, es sei denn, sie sind erforderlich.
• Nutzen Sie Leerlaufzeitlimits: Legen Sie geeignete Leerlaufzeitlimits fest, um ein Gleichgewicht zwischen der Ressourcenverfügbarkeit aufrechtzuerhalten und häufige Clusterneustarts zu vermeiden.

Clustergröße

Berücksichtigen Sie beim Konfigurieren ihres Pools die folgenden Einstellungen und Empfehlungen:

• Clustergröße: Die Anzahl der Executorinstanzen für Notizbuch-Sitzungen (Bereich: 1-16).
• Maximale Clusteranzahl: Die maximale Anzahl von Clustern, die hydratisiert bleiben sollen. Wird basierend auf erwarteten gleichzeitigen Sitzungen festgelegt.
• Leerlauftimeout: Wie lange ein nicht verwendeter Cluster zugeordnet bleibt, bevor Fabric es beendet.

Verwalten von Bibliotheksabhängigkeiten

• Verwenden Sie die Umgebungsgruppierung: Vorabinstallation allgemeiner Bibliotheken in der Umgebung anstelle von "On-the-Fly-Installation".
• Umgebungsversionsverwaltung: Das Aktualisieren einer angefügten Umgebung erfordert eine erneute Veröffentlichung und Aktualisierung von hydratisierten Clustern.
• Aktualisieren Sie die aktualisierten Cluster: Nach Änderungen in der Umgebung aktualisieren Sie den Pool oder warten Sie, bis der nächste geplante Zyklus die Änderungen anwendet.

Anpassen an Arbeitsauslastungsmuster

• Externes Verhalten überwachen: Anpassen von Leerlauftimeouts basierend auf tatsächlichen Verwendungsmustern.
• Gemeinsame Nutzung über Sitzungen hinweg: Erwägen Sie die Gemeinsame Nutzung derselben Umgebung für mehrere Pools, wenn Sie über konsistente Arbeitsauslastungsmuster verfügen, um die Ressourcenauslastung zu verbessern.

Zeitplan für bewährte Praktiken

• Abstimmen auf Arbeitsauslastungsmuster: Planen Sie aktive Phasen, wenn Ihr Team interaktive oder geplante Notizbücher ausführt.
• Pufferzeit: Fügen Sie 60-90 Minuten vor der erwarteten Nutzungszeit hinzu, um die vollständige Hydratation sicherzustellen.
• Berücksichtigen Sie Zeitzonen: Wenn Ihr Team mehrere Zeitzonen umfasst, erweitern Sie den Zeitplan auf die erforderlichen Zeitbereiche.

Problembehandlung

Die Problembehandlung für benutzerdefinierte Livepools umfasst die Überprüfung des Poolstatus, der Umgebungsintegrität und der Zeitplankonfiguration, wie in den folgenden Szenarien beschrieben:

Pool ist weiterhin nicht verfügbar

Wenn der Pool nicht aktiviert wird oder den Status "Nicht verfügbar" anzeigt:

• Überprüfen Sie, ob die Fabric-Kapazität verfügbar ist und aktuell dem Arbeitsbereich zugewiesen ist
• Überprüfen Sie, ob sich die angefügte Umgebung im Zustand "Bereit" befindet.
• Stellen Sie sicher, dass die angefügte Umgebung veröffentlicht wird und keine Fehler vorliegen.

Die Hydratation dauert länger als erwartet

Wenn die Hydratation langsamer als erwartet ist:

• Überprüfen Sie Umgebungsabhängigkeiten und Buildstatus.
• Überprüfen Sie, ob sich die Umgebung im Zustand "Bereit" befindet.
• Prüfen Sie die Pooldetails, um weitere Informationen zu erhalten.

Sitzungen oder Notizbücher können nicht gestartet werden

Wenn Notebook-Sitzungen selbst mit einem aktiven Pool nicht gestartet werden können:

• Überprüfen Sie, ob die Sitzung die richtige Umgebung verwendet.
• Überprüfen Sie, ob sich der Pool im Status "Verfügbar" befindet und vollständig hydratisiert ist.

Verwandte Inhalte

• Übersicht über benutzerdefinierte Livepools
• Konfigurieren von Startpools
• Erstellen von benutzerdefinierten Spark-Pools
• Erstellen und Verwenden einer Umgebung