Databricks Runtime 11.2 für Machine Learning (EoS)

Databricks Runtime 11.2 für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 11.2 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.

Neue Features und Verbesserungen

Databricks Runtime 11.2 ML basiert auf Databricks Runtime 11.2. Informationen zu den Neuerungen in Databricks Runtime 11.2, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 11.2 (EoS).

Verbesserungen an AutoML

AutoML hat jetzt eine bessere Unterstützung für ungleichgewichte Datasets für Klassifizierungsprobleme. Einzelheiten finden Sie unter Unterstützung von unausgeglichenen Datensätzen bei Klassifizierungsproblemen.

Optimierungen des Databricks Feature Store

Die folgenden Verbesserungen wurden an Databricks Feature Store vorgenommen.

• Für Online-Shops sind die Benutzer- und Passwortfelder veraltet. Um zukünftige Inkompatibilitäten zu vermeiden, ändern Sie alle Verwendungen dieser Felder in write_secret_prefix.

• Alle Dokumentationen und Ausgaben des Feature Store-Clients beziehen sich jetzt auf die Clientversion (z. B. 0.6.1) anstelle von Databricks Runtime ML-Versionen (z. B. 11.2).

Systemumgebung

Die Systemumgebung in Databricks Runtime 11.2 ML unterscheidet sich von Databricks Runtime 11.2 wie folgt:

• DBUtils: Databricks Runtime ML enthält kein Bibliothekshilfsprogramm (dbutils.library) (veraltet). Verwenden Sie stattdessen %pip-Befehle. Siehe Notebook-bezogenen Python-Bibliotheken.
• Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Bibliotheken

In den folgenden Abschnitten werden die in Databricks Runtime 11.2 ML enthaltenen Bibliotheken aufgeführt, die sich von denen unterscheiden, die in Databricks Runtime 11.2 enthalten sind.

Inhalt dieses Abschnitts:

• Bibliotheken der obersten Ebene
• Python-Bibliotheken
• R-Bibliotheken
• Java- und Scala-Bibliotheken (Scala 2.12 Cluster)

Bibliotheken der obersten Ebene

Databricks Runtime 11.2 ML enthält die folgenden erstklassigen Bibliotheken:

• GraphFrames
• Horovod und HorovodRunner
• MLflow
• PyTorch
• Spark-Tensorflow-Verbinder
• TensorFlow
• TensorBoard
• scikit-learn

Python-Bibliotheken

Databricks Runtime 11.2 ML verwendet Virtualenv für Python Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den in den folgenden Abschnitten angegebenen Paketen enthält Databricks Runtime 11.2 ML auch die folgenden Pakete:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0_db6
• feature_store 0.6.0
• automl 1.12.3

Python-Bibliotheken auf CPU-Clustern

Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-11.2.txt herunter, und führen Sie pip install -r requirements-11.2.txt aus. Dieser Befehl installiert alle open source Bibliotheken, die Databricks Runtime ML verwendet, installiert jedoch keine Azure Databricks entwickelten Bibliotheken, z. B. databricks-automl, databricks-feature-store oder die Databricks-Verzweigung von hyperopt.

Python Bibliotheken auf GPU-Clustern

R-Bibliotheken

Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 11.2.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 11.2 enthält Databricks Runtime 11.2 ML die folgenden JARs:

Rechencluster

GPU-Cluster