Freigeben über


Was ist die Livy-API for Data Engineering?

Gilt für:✅ Fabric Data Engineering and Data Science

mit Microsoft Fabric Livy-API können Benutzer Spark-Code innerhalb von Spark compute übermitteln und ausführen, der einem Fabric Lakehouse zugeordnet ist, ohne dass Notizbuch- oder Spark-Auftragsdefinitionsartefakte erstellt werden müssen. Diese Integration mit dem Lakehouse gewährleistet einen einfachen Zugriff auf die in OneLake gespeicherten Daten.

Funktionen

Die Fabric Livy-API unterstützt die folgenden Jobtypen:

  • Sitzungsaufträge – Ein Livy-Sitzungsauftrag richtet eine Spark-Sitzung ein, die während der Interaktion mit der Livy-API aktiv bleibt. Sitzungen sind nützlich für interaktive Workloads. Eine Sitzung beginnt, wenn ein Auftrag übermittelt wird und dauert, bis der Benutzer ihn beendet, oder das System beendet ihn nach 20 Minuten Inaktivität. Mehrere Aufträge können innerhalb einer Sitzung ausgeführt werden und den Zustand sowie zwischengespeicherte Daten zwischen den Durchläufen teilen.
  • Batchaufträge – Ein Livy-Batchauftrag sendet eine Spark-Anwendung für eine einzelne Auftragsausführung. Im Gegensatz zu einem Sitzungsauftrag unterstützt ein Batchauftrag keine laufende Spark-Sitzung. Jeder Auftrag initiiert eine neue Spark-Sitzung, die endet, wenn der Auftrag abgeschlossen ist. Dies eignet sich gut für Vorgänge, die sich nicht auf vorherige Berechnungen verlassen oder den Zustand beibehalten müssen.
  • Sitzungen mit hoher Parallelität – Eine Hochparallelitäts-Sitzung (HP-Sitzung) ermöglicht die gleichzeitige Ausführung von Spark, indem sie es Clients erlaubt, mehrere unabhängige Ausführungskontexte zu nutzen. Jede HC-Sitzung wird einer Spark REPL (Read-Eval-Print Loop) innerhalb einer gemeinsamen zugrunde liegenden Livy-Sitzung zugeordnet, die die parallele Ausführung, vorhersehbare Ressourcennutzung und Isolation zwischen gleichzeitigen Anforderungen unterstützt. Weitere Informationen finden Sie unter Unterstützung für hohe Parallelität in der Fabric Livy API.

Hinweis

Hohe Parallelitätsunterstützung ist additiv und ändert keine vorhandenen Livy-API-Verträge. Bestehende Livy-Sitzungs- und Batcharbeitslasten funktionieren weiterhin ohne Änderung.

Erste Schritte mit der Livy-API