Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Annotazioni
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Fine del supporto e cronologia di fine vita. Per tutte le versioni supportate di Databricks Runtime, vedere note di rilascio di Databricks Runtime: versioni e compatibilità.
Databricks Runtime 11.0 per l'Apprendimento Automatico offre un ambiente pronto all'uso per l'apprendimento automatico e la data science basato su Databricks Runtime 11.0 (EoS). Databricks Runtime ML contiene molte librerie di Machine Learning più diffuse, tra cui TensorFlow, PyTorch e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta anche il training di deep learning distribuito utilizzando Horovod.
Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Databricks Runtime ML, vedere IA e Machine Learning in Databricks.
Nuove funzionalità e miglioramenti
Databricks Runtime 11.0 ML è basato su Databricks Runtime 11.0. Per informazioni sulle novità di Databricks Runtime 11.0, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 11.0 (EoS).
Miglioramenti a AutoML
AutoML supporta ora frazioni di campionamento più elevate per prestazioni migliori in set di dati di grandi dimensioni. Per informazioni dettagliate, vedere Campionamento di set di dati di grandi dimensioni.
Ambiente di sistema
L'ambiente di sistema in Databricks Runtime 11.0 ML differisce da Databricks Runtime 11.0 come indicato di seguito:
-
DBUtils: Databricks Runtime ML non contiene l'utilità della libreria (dbutils.library) (legacy).
Usa i comandi
%pipinvece. Vedi Librerie Python con ambito notebook. - Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Libraries
Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 11.0 ML diverse da quelle incluse in Databricks Runtime 11.0.
In questa sezione:
- Librerie di livello superiore
- librerie Python
- Librerie R
- librerie Java e Scala (cluster di Scala 2.12)
Librerie di livello superiore
Databricks Runtime 11.0 ML include le librerie di livello superiore seguenti:
- GraphFrames
- Horovod e HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector (connettore per Spark e TensorFlow)
- TensorFlow
- TensorBoard
librerie Python
Databricks Runtime 11.0 ML usa Virtualenv per la gestione dei pacchetti Python e include molti pacchetti di Machine Learning più diffusi.
Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 11.0 ML include anche i pacchetti seguenti:
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.4.1
- automl 1.10
librerie Python sui cluster di CPU
| Libreria | Versione | Libreria | Versione | Libreria | Versione |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 10/2015 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | generatore asincrono | 1.10 |
| att. | 21.2.0 | chiamata di ritorno | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| bcrypt | 3.2.2 | candeggiare | 4.0.0 | blis | 0.7.7 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools (strumento per la gestione della cache) | 5.1.0 |
| catalogo | 2.0.7 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | normalizzatore di set di caratteri | 2.0.4 | fai clic | 8.0.3 |
| cloudpickle (libreria Python per la serializzazione degli oggetti) | 2.0.0 | cmdstanpy | 0.9.68 | configparser (analizzatore di configurazione) | 5.2.0 |
| convertdate | 2.4.0 | criptografia | 3.4.8 | ciclista | 0.10.0 |
| cymem | 2.0.6 | Cython, un linguaggio di programmazione | 0.29.24 | databricks-automl-runtime | 0.2.8 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | Decoratore | 5.1.0 | defusedxml | 0.7.1 |
| aneto | 0.3.4 | cache del disco | 5.4.0 | distlib | 0.3.4 |
| informazioni sulla distribuzione | 0.23ubuntu1 | punti di ingresso | 0,3 | ephem | 4.1.3 |
| panoramica delle facette | 1.0.0 | fasttext | 0.9.2 | blocco dei file | 3.3.1 |
| Flask | 1.1.2 | FlatBuffers | 2.0 | fsspec | 2021.8.1 |
| futuro | 0.18.2 | gast | 0.5.3 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth (autenticazione Google) | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| Google-Pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.3 |
| vacanze | 0.13 | Horovod | 0.24.3 | htmlmin (strumento per la minimizzazione del codice HTML) | 0.1.12 |
| huggingface-hub | 0.6.0 | IDNA | 3.2 | ImageHash | 4.2.1 |
| imbalanced-learn (una libreria di apprendimento automatico per la gestione dei set di dati sbilanciati) | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate | 0.6.1 | it’s dangerous | 2.0.1 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keras | 2.8.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| calendario lunare coreano | 0.2.1 | codici linguistici | 3.3.0 | libclang | 14.0.1 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | Calendario Lunare | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| Mistune | 0.8.4 | mleap | 0.20.0 | mlflow versione leggera | 1.26.0 |
| multimetodo | 1.8 | algoritmo di hashing murmurhash | 1.0.7 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk (Natural Language Toolkit) | 3.6.5 | taccuino | 6.4.5 |
| numba | 0.55.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | imballaggio | 21.0 | Panda | 1.3.4 |
| pandas-profiling | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | patia | 0.6.1 | vittima | 0.5.2 |
| Petastorm | 0.11.4 | pexpect | 4.8.0 | phik | 0.12.2 |
| pickleshare (libreria di software Python) | 0.7.5 | Cuscino | 8.4.0 | seme | 21.2.4 |
| platformdirs | 2.5.2 | plotly (software di visualizzazione dati) | 5.6.0 | pmdarima | 1.8.5 |
| (Note: Without context, a definitive improved translation cannot be accurately proposed). | 3.0.6 | prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 |
| profeta | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 |
| pycparser (un parser scritto in Python) | 2.20 | pydantic | 1.8.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil (libreria Python per la gestione delle date) | 2.8.2 |
| Editor di Python | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | regex | 2021.8.3 |
| richieste | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4.8 | s3transfer | 0.5.2 | sacrimoses | 0.0.53 |
| scikit-learn | 0.24.2 | scipy | 1.7.1 | Seaborn | 0.11.2 |
| Send2Trash | 1.8.0 | setuptools (pacchetto Python per gestire la configurazione e la distribuzione) | 58.0.4 | setuptools-git | 1.2 |
| forma | 0.40.0 | simplejson | 3.17.6 | sei | 1.16.0 |
| strumento di taglio | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| spazioso | 3.2.3 | spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | seriamente? | 2.4.3 |
| ssh-import-id (comando per l'importazione di chiavi SSH) | 5.10 | statsmodels | 0.12.2 | tabellare | 0.8.9 |
| aggrovigliato-up-in-unicode | 0.1.0 | tenacità | 8.0.1 | TensorBoard | 2.8.0 |
| server di dati di TensorBoard | 0.6.1 | plugin di profilazione per tensorboard | 2.5.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.8.0 | Stima di tensore tensorflow | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 |
| termcolor | 1.1.0 | finito | 0.9.4 | percorso di prova | 0.5.0 |
| tf-estimator-nightly | 2.8.0.dev2021122109 | thinc | 8.0.15 | threadpoolctl | 2.2.0 |
| tokenizzatori | 0.12.1 | Torcia | 1.11.0+cpu | visione della torcia | 0.12.0+CPU |
| tornado | 6.1 | tqdm | 4.62.3 | traitlets (una libreria per la configurazione dei parametri nei programmi Python) | 5.1.0 |
| trasformatori | 4.17.0 | Typer | 0.4.1 | tipizzazione di estensioni | 3.10.0.2 |
| ujson (una libreria per la gestione di JSON in Python) | 4.0.2 | aggiornamenti non supervisionati | 0,1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | Visioni | 0.7.4 | wasabi | 0.9.1 |
| wcwidth (funzione per determinare la larghezza dei caratteri) | 0.2.5 | codifiche web | 0.5.1 | cliente WebSocket | 1.3.1 |
| Attrezzo | 2.0.2 | ruota | 0.37.0 | widgetsnbextension | 3.6.0 |
| rapito | 1.12.1 | xgboost | 1.5.2 | Zipp | 3.6.0 |
librerie Python nei cluster GPU
| Libreria | Versione | Libreria | Versione | Libreria | Versione |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 10/2015 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| Astor | 0.8.1 | astunparse | 1.6.3 | generatore asincrono | 1.10 |
| att. | 21.2.0 | chiamata di ritorno | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| bcrypt | 3.2.2 | candeggiare | 4.0.0 | blis | 0.7.7 |
| boto3 | 1.21.18 | botocore | 1.24.18 | cachetools (strumento per la gestione della cache) | 5.1.0 |
| catalogo | 2.0.7 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | normalizzatore di set di caratteri | 2.0.4 | fai clic | 8.0.3 |
| cloudpickle (libreria Python per la serializzazione degli oggetti) | 2.0.0 | cmdstanpy | 0.9.68 | configparser (analizzatore di configurazione) | 5.2.0 |
| convertdate | 2.4.0 | criptografia | 3.4.8 | ciclista | 0.10.0 |
| cymem | 2.0.6 | Cython, un linguaggio di programmazione | 0.29.24 | databricks-automl-runtime | 0.2.8 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | Decoratore | 5.1.0 | defusedxml | 0.7.1 |
| aneto | 0.3.4 | cache del disco | 5.4.0 | distlib | 0.3.4 |
| informazioni sulla distribuzione | 0.23ubuntu1 | punti di ingresso | 0,3 | ephem | 4.1.3 |
| panoramica delle facette | 1.0.0 | fasttext | 0.9.2 | blocco dei file | 3.3.1 |
| Flask | 1.1.2 | FlatBuffers | 2.0 | fsspec | 2021.8.1 |
| futuro | 0.18.2 | gast | 0.5.3 | gitdb | 4.0.9 |
| GitPython | 3.1.27 | google-auth (autenticazione Google) | 2.6.0 | google-auth-oauthlib | 0.4.6 |
| Google-Pasta | 0.2.0 | grpcio | 1.44.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | hijri-converter | 2.2.3 |
| vacanze | 0.13 | Horovod | 0.24.3 | htmlmin (strumento per la minimizzazione del codice HTML) | 0.1.12 |
| huggingface-hub | 0.6.0 | IDNA | 3.2 | ImageHash | 4.2.1 |
| imbalanced-learn (una libreria di apprendimento automatico per la gestione dei set di dati sbilanciati) | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| isodate | 0.6.1 | it’s dangerous | 2.0.1 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| joblibspark | 0.5.0 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keras | 2.8.0 | Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 |
| calendario lunare coreano | 0.2.1 | codici linguistici | 3.3.0 | libclang | 14.0.1 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | Calendario Lunare | 0.0.9 |
| Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | missingno | 0.5.1 |
| Mistune | 0.8.4 | mleap | 0.20.0 | mlflow versione leggera | 1.26.0 |
| multimetodo | 1.8 | algoritmo di hashing murmurhash | 1.0.7 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk (Natural Language Toolkit) | 3.6.5 | taccuino | 6.4.5 |
| numba | 0.55.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | imballaggio | 21.0 | Panda | 1.3.4 |
| pandas-profiling | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | patia | 0.6.1 | vittima | 0.5.2 |
| Petastorm | 0.11.4 | pexpect | 4.8.0 | phik | 0.12.2 |
| pickleshare (libreria di software Python) | 0.7.5 | Cuscino | 8.4.0 | seme | 21.2.4 |
| platformdirs | 2.5.2 | plotly (software di visualizzazione dati) | 5.6.0 | pmdarima | 1.8.5 |
| (Note: Without context, a definitive improved translation cannot be accurately proposed). | 3.0.6 | prompt-toolkit | 3.0.20 | profeta | 1.0.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 | pycparser (un parser scritto in Python) | 2.20 |
| pydantic | 1.8.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil (libreria Python per la gestione delle date) | 2.8.2 | Editor di Python | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6.0 |
| pyzmq | 22.2.1 | regex | 2021.8.3 | richieste | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | rsa | 4.8 |
| s3transfer | 0.5.2 | sacrimoses | 0.0.53 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | Seaborn | 0.11.2 | Send2Trash | 1.8.0 |
| setuptools (pacchetto Python per gestire la configurazione e la distribuzione) | 58.0.4 | setuptools-git | 1.2 | forma | 0.40.0 |
| simplejson | 3.17.6 | sei | 1.16.0 | strumento di taglio | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | spazioso | 3.2.3 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | seriamente? | 2.4.3 | ssh-import-id (comando per l'importazione di chiavi SSH) | 5.10 |
| statsmodels | 0.12.2 | tabellare | 0.8.9 | aggrovigliato-up-in-unicode | 0.1.0 |
| tenacità | 8.0.1 | TensorBoard | 2.8.0 | server di dati di TensorBoard | 0.6.1 |
| plugin di profilazione per tensorboard | 2.5.0 | tensorboard-plugin-wit | 1.8.1 | TensorFlow | 2.8.0 |
| Stima di tensore tensorflow | 2.8.0 | tensorflow-io-gcs-filesystem | 0.25.0 | termcolor | 1.1.0 |
| finito | 0.9.4 | percorso di prova | 0.5.0 | tf-estimator-nightly | 2.8.0.dev2021122109 |
| thinc | 8.0.15 | threadpoolctl | 2.2.0 | tokenizzatori | 0.12.1 |
| Torcia | 1.11.0+cu113 | visione della torcia | 0.12.0+cu113 | tornado | 6.1 |
| tqdm | 4.62.3 | traitlets (una libreria per la configurazione dei parametri nei programmi Python) | 5.1.0 | trasformatori | 4.17.0 |
| Typer | 0.4.1 | tipizzazione di estensioni | 3.10.0.2 | ujson (una libreria per la gestione di JSON in Python) | 4.0.2 |
| aggiornamenti non supervisionati | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| Visioni | 0.7.4 | wasabi | 0.9.1 | wcwidth (funzione per determinare la larghezza dei caratteri) | 0.2.5 |
| codifiche web | 0.5.1 | cliente WebSocket | 1.3.1 | Attrezzo | 2.0.2 |
| ruota | 0.37.0 | widgetsnbextension | 3.6.0 | rapito | 1.12.1 |
| xgboost | 1.5.2 | Zipp | 3.6.0 |
Pacchetti Spark contenenti moduli Python
| Pacchetto Spark | Modulo Python | Versione |
|---|---|---|
| GraphFrames | GraphFrames | 0.8.2-db1-spark3.2 |
Librerie R
Le librerie R sono identiche alle librerie R in Databricks Runtime 11.0.
librerie Java e Scala (cluster Scala 2.12)
Oltre a Java e alle librerie Scala in Databricks Runtime 11.0, Databricks Runtime 11.0 ML contiene i file JAR seguenti:
Cluster di CPU
| ID del Gruppo | ID dell'artefatto | Versione |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.26.0 |
| org.mlflow | mlflow-spark | 1.26.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Cluster di GPU
| ID del Gruppo | ID dell'artefatto | Versione |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.26.0 |
| org.mlflow | mlflow-spark | 1.26.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |