Databricks Runtime 15.2 per Machine Learning (EoS)

Databricks Runtime 15.2 per Machine Learning offre un ambiente prontoto-go per machine learning e data science basato su Databricks Runtime 15.2 (EoS). Databricks Runtime per Machine Learning contiene molte di queste librerie, tra cui TensorFlow, PyTorch, Keras e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Il runtime di Databricks ML supporta anche il training di deep learning distribuito utilizzando Horovod.

Miglioramenti e nuove funzionalità

Databricks Runtime 15.2 ML è basato su Databricks Runtime 15.2. Per informazioni sulle novità di Databricks Runtime 15.2, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 15.2 (EoS).

Aggiungere StreamingDataset

StreamingDataset viene usato per eseguire l'addestramento su set di dati di grandi dimensioni dall'archiviazione cloud nel modo più veloce, economico e scalabile possibile. È preinstallato in Databricks Runtime 15.2 ML.

Supporto di Photon nei cluster CPU ml di Databricks Runtime

A partire da Databricks Runtime 15.2 ML, è possibile accelerare i carichi di lavoro Spark SQL e Spark DataFrame abilitando Photon nel cluster CPU.

Per le applicazioni di Machine Learning, Photon offre prestazioni più veloci per i casi d'uso, ad esempio:

• Preparazione dei dati con l'API SQL o DataFrame.
• Progettazione di funzionalità con ricerca punto nel tempo.
• Analisi del grafo con GraphFrames.

Photon non migliora le prestazioni delle librerie Python, ad esempio TensorFlow, PyTorch e XGBoost.

Le API RDD Spark e Spark MLlib hanno una compatibilità limitata con Photon. Quando si elaborano set di dati di grandi dimensioni usando Spark RDD o Spark MLlib, è possibile che si verifichino problemi di memoria Spark. Consulta problemi di memoria di Spark.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 15.2 ML differisce da Databricks Runtime 15.2 come indicato di seguito:

• Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Librerie

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 15.2 ML che differiscono da quelle incluse in Databricks Runtime 15.2.

Contenuto della sezione:

• Librerie di livello superiore
• librerie Python
• Librerie R
• librerie Java e Scala (cluster di Scala 2.12)

Librerie di livello superiore

Databricks Runtime 15.2 ML includono le librerie di fascia alta seguenti:

• datasets
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• transformers

librerie Python

Databricks Runtime 15.2 ML usa virtualenv per la gestione dei pacchetti Python e include molti pacchetti di Machine Learning più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 15.2 ML include anche i pacchetti seguenti:

• hyperopt 0.2.7+db3
• 3.0.0_db1 sparkdl
• automl 1.26.0

Per riprodurre l'ambiente Python ml di Databricks Runtime nell'ambiente virtuale Python locale, scaricare il file requirements-15.2.txt ed eseguire pip install -r requirements-15.2.txt. Questo comando installa tutte le librerie di open source usate da Databricks Runtime ML, ma non installa librerie sviluppate da Databricks, ad esempio databricks-automl, databricks-feature-engineering o il fork databricks di hyperopt.

librerie Python sui cluster di CPU

librerie Python nei cluster GPU

Librerie R

Le librerie R sono identiche alle Librerie R in Databricks Runtime 15.2.

librerie Java e Scala (cluster Scala 2.12)

Oltre a Java e librerie Scala in Databricks Runtime 15.2, Databricks Runtime 15.2 ML contiene i file JAR seguenti:

Cluster di CPU

Cluster GPU