Databricks Runtime 15.1 per Machine Learning (EoS)

Databricks Runtime 15.1 per Machine Learning offre un ambiente pronto all'uso per il machine learning e la data science basato su Databricks Runtime 15.1 (EoS). Databricks Runtime per Machine Learning contiene molte di queste librerie, tra cui TensorFlow, PyTorch, Keras e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta anche l'addestramento distribuito per il deep learning utilizzando Horovod.

Miglioramenti e nuove funzionalità

Databricks Runtime 15.1 ML è basato su Databricks Runtime 15.1. Per informazioni sulle novità di Databricks Runtime 15.1, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 15.1 (EoS).

Modifiche di rilievo

La CLI legacy di Databricks non è più installata per impostazione predefinita

In Databricks Runtime 14.3 LTS ML e versioni precedenti, poiché la versione preinstallata di MLflow richiedeva la CLI legacy di Databricks, veniva installata automaticamente in $PATH. Databricks Runtime 15.1 ML include MLflow versione 2.10.2, che non richiede la CLI legacy.

A partire da Databricks Runtime 15.1 ML, la CLI legacy di Databricks non viene più installata automaticamente in $PATH. Questa è una modifica significativa per gli utenti che dipendono dalla legacy CLI installata nel runtime. Comandi come %sh databricks ... non funzionano più in Databricks Runtime 15.1 ML e versioni successive.

Per continuare a usare la CLI legacy di Databricks da un notebook, installarla come cluster o libreria di notebook. La nuova CLI di Databricks è disponibile dal terminale Web. Per altre informazioni, vedere Usare il terminale Web e la CLI di Databricks.

MLeap non è più disponibile a partire da Databricks Runtime 15.1 ML

MLeap non è più disponibile in Databricks Runtime 15.1 ML e versioni successive. Per creare un pacchetto di modelli per la distribuzione in framework basati su JVM, Databricks consiglia di usare il formato ONNX.

Deprecazione di Horovod e HorovodRunner

Horovod e HorovodRunner sono ora deprecati. Per l'apprendimento avanzato distribuito, Databricks consiglia di utilizzare TorchDistributor per il training distribuito con PyTorch o l'API tf.distribute.Strategy per il training distribuito con TensorFlow. Horovod e HorovodRunner sono preinstallati in Databricks Runtime 15.1 ML, ma verranno rimossi nella prossima versione principale di Databricks Runtime ML.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 15.1 ML differisce da Databricks Runtime 15.1 come indicato di seguito:

• Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
  • CUDA 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Librerie

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 15.1 ML che differiscono da quelle incluse in Databricks Runtime 15.1.

Contenuto della sezione:

• Librerie di livello superiore
• librerie Python
• Librerie R
• librerie Java e Scala (cluster di Scala 2.12)

Librerie di livello superiore

Databricks Runtime 15.1 ML include le seguenti librerie di alto livello:

• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn
• Horovod e HorovodRunner (Deprecati)

librerie Python

Databricks Runtime 15.1 ML usa virtualenv per la gestione dei pacchetti Python e include molti pacchetti di Machine Learning più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 15.1 ML include anche i pacchetti seguenti:

• hyperopt 0.2.7+db4
• 3.0.0_db1 sparkdl
• automl 1.25.0

Per riprodurre l'ambiente Python ml di Databricks Runtime nell'ambiente virtuale Python locale, scaricare il file requirements-15.1.txt ed eseguire pip install -r requirements-15.1.txt. Questo comando installa tutte le librerie di open source usate da Databricks Runtime ML, ma non installa librerie sviluppate da Databricks, ad esempio databricks-automl, databricks-feature-store o il fork databricks di hyperopt.

librerie Python sui cluster di CPU

librerie Python nei cluster GPU

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 15.1.

librerie Java e Scala (cluster Scala 2.12)

Oltre a Java e librerie Scala in Databricks Runtime 15.1, Databricks Runtime 15.1 ML contiene i file JAR seguenti:

Cluster CPU

Cluster di GPU