Databricks Runtime 14.3 LTS for Machine Learningは、Databricks Runtime 14.3 LTS に基づいてmachine learningおよびデータ サイエンス用の準備完了のto-go 環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。
注意
LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。
ヒント
サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。
新機能と機能強化
Databricks Runtime 14.3 LTS ML は、Databricks Runtime 14.3 LTS の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 14.3 LTS の新機能については、 Databricks Runtime 14.3 LTS のリリース ノートを参照してください。
システム環境
Databricks Runtime 14.3 LTS ML のシステム環境は、Databricks Runtime 14.3 LTS とは以下のように異なります。
- GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 11.8
- cuDNN 8.9.0.131-1
- NCCL 2.15.5
- TensorRT 8.5.3-1
Databricks Runtime 14.3 LTS ML には XGBoost 1.7.6 が含まれており、これはコンピューティング機能 5.2 以下の GPU クラスターをサポートしていません。
ライブラリ
以下のセクションでは、Databricks Runtime 14.3 LTS に含まれているものとは異なる、Databricks Runtime 14.3 LTS ML に含まれているライブラリのリストを示します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 14.3 LTS ML には、以下の最上位層ライブラリが含まれています。
- GraphFrames
- Horovod と HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python ライブラリ
Databricks Runtime 14.3 LTS ML では、Python パッケージ管理に virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
以下のセクションで指定されているパッケージに加えて、Databricks Runtime 14.3 LTS ML には以下のパッケージも含まれています。
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.24.0
ローカルの Python 仮想環境で Databricks Runtime ML Python環境を再現するには、requirements-14.3.txt ファイルをダウンロードし、pip install -r requirements-14.3.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのopen source ライブラリをインストールしますが、databricks-automl、databricks-feature-store、hyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールされません。
CPU クラスターでのライブラリのPython
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.25.0 | aiohttp | 3.9.1 |
| アイオシグナル | 1.3.1 | anyio | 3.5.0 | アプリケーションディレクトリ (appdirs) | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 |
| アストトークン | 2.0.5 | astunparse | 1.6.3 | 非同期タイムアウト | 4.0.3 |
| 属性 | 22.1.0 | audioread | 3.0.1 | azure-core (アジュール コア) | 1.29.1 |
| azure-cosmos | 4.3.1 | アジュール・ストレージ・ブロブ | 12.19.0 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.14.0 |
| バックコール (再発信機能) | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 |
| 黒い | 22.6.0 | 漂白剤 | 4.1.0 | ウインカー | 1.4 |
| ブリス | 0.7.11 | boto3 | 1.24.28 | botocore | 1.27.96 |
| キャッシュツールズ (cachetools) | 5.3.2 | カタログ | 2.0.10 | category-encoders (カテゴリーエンコーダー) | 2.6.3 |
| サーティフィ | 2022.12.7 | cffi | 1.15.1 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | クリックし | 8.0.4 | cloudpathlib | 0.16.0 |
| クラウドピックル | 2.0.0 | cmdstanpy | 1.2.0 | 通信 | 0.1.2 |
| お菓子 | 0.1.4 | configparser (コンフィグパーサー) | 5.2.0 | コンツアーピー | 1.0.5 |
| 暗号 | 39.0.1 | サイクリスト | 0.11.0 | サイメム | 2.0.8 |
| Cython | 0.29.32 | ダサイト | 1.8.1 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.20 |
| databricks-cli | 0.18.0 | データブリックスフィーチャーエンジニアリング | 0.2.0 | databricks-sdk（データブリックスSDK） | 0.1.6 |
| dataclasses-json | 0.6.3 | データセット | 2.15.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | デコレータ | 5.1.1 |
| ディープスピード | 0.12.4 | デフューズドXML (defusedxml) | 0.7.1 | ディル | 0.3.6 |
| ディスクキャッシュ | 5.6.3 | distlib | 0.3.7 | ドックストリングをMarkdownに変換 | 0.11 |
| 入口点 | 0.4 | 評価する | 0.4.1 | 実行中 | 0.8.3 |
| ファセット概要 | 1.1.1 | fastjsonschema | 2.19.1 | fasttext（ファーストテキスト） | 0.9.2 |
| ファイルロック | 3.9.0 | Flask | 2.2.5 | フラットバッファーズ | 23年5月26日 |
| fonttools（フォントツールズ） | 4.25.0 | フローズンリスト | 1.4.1 | fsspec | 2023.6.0 |
| 未来 | 0.18.3 | ガスト | 0.4.0 | ギットディービー | 4.0.11 |
| GitPython | 3.1.27 | google-api-core | 2.15.0 | google-auth（Google認証） | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 | Googleクラウドストレージ | 2.11.0 |
| google-crc32c（GoogleのCRC32Cライブラリ） | 1.5.0 | グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.0 |
| Google API 共通プロトコル (googleapis-common-protos) | 1.62.0 | グリーンレット | 2.0.1 | grpcio | 1.48.2 |
| grpcio-status | 1.48.1 | ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.7.0 | hjson | 3.1.0 | 休日 | 0.38 |
| ホロヴォド | 0.28.1 | HTML最小化ツール（htmlmin） | 0.1.12 | httplib2 | 0.20.2 |
| huggingface-hub（ハギングフェイスのハブ） | 0.19.4 | idna | 3.4 | イメージハッシュ (ImageHash) | 4.3.1 |
| imbalanced-learn | 0.11.0 | importlib-metadata | 4.11.3 | importlib-resources | 6.1.1 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 |
| ipywidgets (インタラクティブウィジェット) | 7.7.2 | アイソデート | 0.6.1 | itsdangerous（イッツデンジャラス） | 2.0.1 |
| ジェダイ | 0.18.1 | ジープニー | 0.7.1 | ジンジャ2 | 3.1.2 |
| jmespath | 0.10.0 | 「joblib」 | 1.2.0 | ジョブリブスパーク | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 2.4 | JSONスキーマ | 4.17.3 |
| ジュピタークライアント | 7.3.4 | jupyterサーバー | 1.23.4 | jupyter_core（ジュピター・コア） | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | keras | 2.14.0 |
| キーホルダー | 23.5.0 | キウィソルバー | 1.4.4 | langchain | 0.0.348 |
| langchain-core | 0.0.13 | 言語コード | 3.3.0 | langsmith | 0.0.79 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| レイジーローダー | 0.3 | libclang | 15.0.6.1 | librosa | 0.10.1 |
| lightgbm | 4.1.0 | llvmlite | 0.39.1 | lxml | 4.9.1 |
| アオザメ | 1.2.0 | Markdown | 3.4.1 | マークアップセーフ | 2.1.1 |
| マシュマロ | 3.20.2 | matplotlib | 3.7.0 | matplotlib-インライン | 0.1.6 |
| マッケイブ | 0.7.0 | ミスチューン | 0.8.4 | ml-dtypes（機械学習で使用されるデータ型） | 0.2.0 |
| mlflow-skinny | 2.9.2 | more-itertools | 8.10.0 | mpmath | 1.2.1 |
| msgpack (メッセージパック) | 1.0.7 | マルチディクト | 6.0.4 | マルチメソッド | 1.10 |
| マルチプロセス | 0.70.14 | マーマーハッシュ (murmurhash) | 1.0.10 | mypy-extensions (マイパイ拡張機能) | 0.4.3 |
| nbclassic | 0.5.2 | nbclient（エヌビー・クライアント） | 0.5.13 | NBコンバート | 6.5.4 |
| nbフォーマット | 5.7.0 | nest-asyncio（ネスト・アサインキオ） | 1.5.6 | networkx | 2.8.4 |
| 忍者 | 1.11.1.1 | nltk | 3.7 | nodeenv | 1.8.0 |
| ノートブック | 6.5.2 | ノートブックシム | 0.2.2 | numba | 0.56.4 |
| NumPy (数値計算ライブラリ) | 1.23.5 | oauthlib | 3.2.0 | オープンAI | 0.28.1 |
| opt-einsum | 3.3.0 | パッケージング | 23.2 | パンダ | 1.5.3 |
| パンドックフィルターズ | 1.5.0 | paramiko | 2.9.2 | パルソ | 0.8.3 |
| パススペック | 0.10.3 | パッツィ | 0.5.3 | petastorm | 0.12.1 |
| ペキスペクト | 4.8.0 | フィック | 0.12.4 | ピクルシェア | 0.7.5 |
| 枕 | 9.4.0 | 種 | 22.3.1 | プラットフォームディレクトリ | 2.5.2 |
| plotly - データビジュアライゼーションツール | 5.9.0 | プラグイン管理ツール | 1.0.0 | pmdarima | 2.0.4 |
| ワンちゃん | 1.4.0 | プレシェッド | 3.0.9 | prometheus-クライアント | 0.14.1 |
| prompt-toolkit（プロンプトツールキット） | 3.0.36 | 預言者 | 1.1.5 | プロトバフ | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval (ピュア・イヴァル) | 0.2.2 | py-cpuinfo | 9.0.0 | pyarrow (パイアロー) | 8.0.0 |
| pyarrow-hotfix | 0.5 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | pycparser（パイシーパーサー） | 2.21 | Pythonのデータバリデーションライブラリ「pydantic」 | 1.10.6 |
| パイフレークス | 3.1.0 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc (Pythonのデータベース接続用ライブラリ) | 4.0.32 | パイパーシング (Pyparsing) | 3.0.9 | pyright | 1.1.294 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 |
| パイソンエディター | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | Python LSP サーバー | 1.8.0 |
| Pytoolconfig | 1.2.5 | pytz | 2022年7月 | PyWavelets | 1.4.1 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | RegEx | 2022.7.9 |
| リクエスト | 2.28.1 | requests-oauthlib | 1.3.1 | 応答 | 0.18.0 |
| ロープ | 1.7.0 | RSA（アールエスエー） | 4.9 | s3transfer | 0.6.2 |
| safetensors | 0.4.1 | scikit-learn（サイキット・ラーン） | 1.1.1 | scipy | 1.10.0 |
| seaborn（シーボーン） | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 |
| センテンス・トランスフォーマー | 2.2.2 | sentencepiece（センテンスピース） | 0.1.99 | setuptools（セットアップツール） | 65.6.3 |
| シャープ | 0.44.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| スライサー | 0.0.7 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| スニフィオ | 1.2.0 | サウンドファイル | 0.12.1 | スープこし器 (soup strainer) | 2.3.2.post1 |
| soxr | 0.3.7 | spacy | 3.7.2 | spacy-legacy | 3.0.12 |
| スペーシー・ロガーズ | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | まじで | 2.4.8 | ssh-import-id | 5.11 |
| スタックデータ | 0.2.0 | スタニオ | 0.3.0 | statsmodels（スタッツモデルズ） | 0.13.5 |
| sympy (ライブラリ) | 1.11.1 | 一覧にする | 0.8.10 | 「tangled」-up-in-ユニコード | 0.2.0 |
| 粘り強さ | 8.1.0 | TensorBoard | 2.14.1 | テンソルボード・データサーバー | 0.7.2 |
| tensorboard-plugin-profile | 2.14.0 | tensorflow (CPU版) | 2.14.1 | tensorflow-estimatorツール | 2.14.0 |
| tensorflow-io-gcs-filesystem | 0.35.0 | termcolor | 2.4.0 | 終了しました | 0.17.1 |
| thinc | 8.2.2 | Threadpoolctl | 2.2.0 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | トークナイズ-RT | 4.2.1 | トークナイザー | 0.15.0 |
| tomli | 2.0.1 | 電灯 | 2.0.1 + cpu | torchvision 라이브러리 | 0.15.2+ cpu |
| 竜巻 | 6.1 | tqdm | 4.64.1 | traitlets（トレイトレット） | 5.7.1 |
| トランスフォーマー | 4.36.1 | タイプガード | 2.13.3 | typer | 0.9.0 |
| タイピング検査 | 0.9.0 | タイピングエクステンションズ (typing_extensions) | 4.4.0 | ujson | 5.4.0 |
| 無人アップグレード | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| ビジョン | 0.7.5 | wadllib | 1.3.6 | わさび | 1.1.2 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | 鼬 | 0.3.4 | ウェブエンコーディングス | 0.5.1 |
| websocket-client (ウェブソケット・クライアント) | 0.58.0 | Werkzeug | 2.2.2 | whatthepatch（ホワットザパッチ） | 1.0.2 |
| ホイール | 0.38.4 | ウィジェットNBエクステンション | 3.6.1 | ワードクラウド | 1.9.3 |
| 包まれた | 1.14.1 | xgboost | 1.7.6 | xxhash | 3.4.1 |
| yapf (ヤップフ) | 0.33.0 | ヤール | 1.9.4 | ydata-profiling | 4.2.0 |
| ジップ | 3.11.0 |
GPU クラスター上のPython ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.25.0 | aiohttp | 3.9.1 |
| アイオシグナル | 1.3.1 | anyio | 3.5.0 | アプリケーションディレクトリ (appdirs) | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 |
| アストトークン | 2.0.5 | astunparse | 1.6.3 | 非同期タイムアウト | 4.0.3 |
| 属性 | 22.1.0 | audioread | 3.0.1 | azure-core (アジュール コア) | 1.29.1 |
| azure-cosmos | 4.3.1 | アジュール・ストレージ・ブロブ | 12.19.0 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.14.0 |
| バックコール (再発信機能) | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 |
| 黒い | 22.6.0 | 漂白剤 | 4.1.0 | ウインカー | 1.4 |
| ブリス | 0.7.11 | boto3 | 1.24.28 | botocore | 1.27.96 |
| キャッシュツールズ (cachetools) | 5.3.2 | カタログ | 2.0.10 | category-encoders (カテゴリーエンコーダー) | 2.6.3 |
| サーティフィ | 2022.12.7 | cffi | 1.15.1 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | クリックし | 8.0.4 | cloudpathlib | 0.16.0 |
| クラウドピックル | 2.0.0 | cmake | 3.28.1 | cmdstanpy | 1.2.0 |
| 通信 | 0.1.2 | お菓子 | 0.1.4 | configparser (コンフィグパーサー) | 5.2.0 |
| コンツアーピー | 1.0.5 | 暗号 | 39.0.1 | サイクリスト | 0.11.0 |
| サイメム | 2.0.8 | Cython | 0.29.32 | ダサイト | 1.8.1 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.20 | databricks-cli | 0.18.0 | データブリックスフィーチャーエンジニアリング | 0.2.0 |
| databricks-sdk（データブリックスSDK） | 0.1.6 | dataclasses-json | 0.6.3 | データセット | 2.15.0 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| デコレータ | 5.1.1 | ディープスピード | 0.12.4 | デフューズドXML (defusedxml) | 0.7.1 |
| ディル | 0.3.6 | ディスクキャッシュ | 5.6.3 | distlib | 0.3.7 |
| ドックストリングをMarkdownに変換 | 0.11 | einops | 0.7.0 | 入口点 | 0.4 |
| 評価する | 0.4.1 | 実行中 | 0.8.3 | ファセット概要 | 1.1.1 |
| fastjsonschema | 2.19.1 | fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.9.0 |
| flash-attn | 2.3.6 | Flask | 2.2.5 | フラットバッファーズ | 23年5月26日 |
| fonttools（フォントツールズ） | 4.25.0 | フローズンリスト | 1.4.1 | fsspec | 2023.6.0 |
| 未来 | 0.18.3 | ガスト | 0.4.0 | ギットディービー | 4.0.11 |
| GitPython | 3.1.27 | google-api-core | 2.15.0 | google-auth（Google認証） | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 | Googleクラウドストレージ | 2.11.0 |
| google-crc32c（GoogleのCRC32Cライブラリ） | 1.5.0 | グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.0 |
| Google API 共通プロトコル (googleapis-common-protos) | 1.62.0 | グリーンレット | 2.0.1 | grpcio | 1.48.2 |
| grpcio-status | 1.48.1 | ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.7.0 | hjson | 3.1.0 | 休日 | 0.38 |
| ホロヴォド | 0.28.1 | HTML最小化ツール（htmlmin） | 0.1.12 | httplib2 | 0.20.2 |
| huggingface-hub（ハギングフェイスのハブ） | 0.19.4 | idna | 3.4 | イメージハッシュ (ImageHash) | 4.3.1 |
| imbalanced-learn | 0.11.0 | importlib-metadata | 4.11.3 | importlib-resources | 6.1.1 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 |
| ipywidgets (インタラクティブウィジェット) | 7.7.2 | アイソデート | 0.6.1 | itsdangerous（イッツデンジャラス） | 2.0.1 |
| ジェダイ | 0.18.1 | ジープニー | 0.7.1 | ジンジャ2 | 3.1.2 |
| jmespath | 0.10.0 | 「joblib」 | 1.2.0 | ジョブリブスパーク | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 2.4 | JSONスキーマ | 4.17.3 |
| ジュピタークライアント | 7.3.4 | jupyterサーバー | 1.23.4 | jupyter_core（ジュピター・コア） | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | keras | 2.14.0 |
| キーホルダー | 23.5.0 | キウィソルバー | 1.4.4 | langchain | 0.0.348 |
| langchain-core | 0.0.13 | 言語コード | 3.3.0 | langsmith | 0.0.79 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| レイジーローダー | 0.3 | libclang | 15.0.6.1 | librosa | 0.10.1 |
| lightgbm | 4.1.0 | 点灯 | 17.0.6 | llvmlite | 0.39.1 |
| lxml | 4.9.1 | アオザメ | 1.2.0 | Markdown | 3.4.1 |
| マークアップセーフ | 2.1.1 | マシュマロ | 3.20.2 | matplotlib | 3.7.0 |
| matplotlib-インライン | 0.1.6 | マッケイブ | 0.7.0 | ミスチューン | 0.8.4 |
| ml-dtypes（機械学習で使用されるデータ型） | 0.2.0 | mlflow-skinny | 2.9.2 | more-itertools | 8.10.0 |
| mpmath | 1.2.1 | msgpack (メッセージパック) | 1.0.7 | マルチディクト | 6.0.4 |
| マルチメソッド | 1.10 | マルチプロセス | 0.70.14 | マーマーハッシュ (murmurhash) | 1.0.10 |
| mypy-extensions (マイパイ拡張機能) | 0.4.3 | nbclassic | 0.5.2 | nbclient（エヌビー・クライアント） | 0.5.13 |
| NBコンバート | 6.5.4 | nbフォーマット | 5.7.0 | nest-asyncio（ネスト・アサインキオ） | 1.5.6 |
| networkx | 2.8.4 | 忍者 | 1.11.1.1 | nltk | 3.7 |
| nodeenv | 1.8.0 | ノートブック | 6.5.2 | ノートブックシム | 0.2.2 |
| numba | 0.56.4 | NumPy (数値計算ライブラリ) | 1.23.5 | oauthlib | 3.2.0 |
| オープンAI | 0.28.1 | opt-einsum | 3.3.0 | パッケージング | 23.2 |
| パンダ | 1.5.3 | パンドックフィルターズ | 1.5.0 | paramiko | 2.9.2 |
| パルソ | 0.8.3 | パススペック | 0.10.3 | パッツィ | 0.5.3 |
| petastorm | 0.12.1 | ペキスペクト | 4.8.0 | フィック | 0.12.4 |
| ピクルシェア | 0.7.5 | 枕 | 9.4.0 | 種 | 22.3.1 |
| プラットフォームディレクトリ | 2.5.2 | plotly - データビジュアライゼーションツール | 5.9.0 | プラグイン管理ツール | 1.0.0 |
| pmdarima | 2.0.4 | ワンちゃん | 1.4.0 | プレシェッド | 3.0.9 |
| prompt-toolkit（プロンプトツールキット） | 3.0.36 | 預言者 | 1.1.5 | プロトバフ | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval (ピュア・イヴァル) | 0.2.2 | py-cpuinfo | 9.0.0 | pyarrow (パイアロー) | 8.0.0 |
| pyarrow-hotfix | 0.5 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | pycparser（パイシーパーサー） | 2.21 | Pythonのデータバリデーションライブラリ「pydantic」 | 1.10.6 |
| パイフレークス | 3.1.0 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc (Pythonのデータベース接続用ライブラリ) | 4.0.32 | パイパーシング (Pyparsing) | 3.0.9 | pyright | 1.1.294 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 |
| パイソンエディター | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | Python LSP サーバー | 1.8.0 |
| Pytoolconfig | 1.2.5 | pytz | 2022年7月 | PyWavelets | 1.4.1 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | RegEx | 2022.7.9 |
| リクエスト | 2.28.1 | requests-oauthlib | 1.3.1 | 応答 | 0.18.0 |
| ロープ | 1.7.0 | RSA（アールエスエー） | 4.9 | s3transfer | 0.6.2 |
| safetensors | 0.4.1 | scikit-learn（サイキット・ラーン） | 1.1.1 | scipy | 1.10.0 |
| seaborn（シーボーン） | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 |
| センテンス・トランスフォーマー | 2.2.2 | sentencepiece（センテンスピース） | 0.1.99 | setuptools（セットアップツール） | 65.6.3 |
| シャープ | 0.44.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| スライサー | 0.0.7 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| スニフィオ | 1.2.0 | サウンドファイル | 0.12.1 | スープこし器 (soup strainer) | 2.3.2.post1 |
| soxr | 0.3.7 | spacy | 3.7.2 | spacy-legacy | 3.0.12 |
| スペーシー・ロガーズ | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | まじで | 2.4.8 | ssh-import-id | 5.11 |
| スタックデータ | 0.2.0 | スタニオ | 0.3.0 | statsmodels（スタッツモデルズ） | 0.13.5 |
| sympy (ライブラリ) | 1.11.1 | 一覧にする | 0.8.10 | 「tangled」-up-in-ユニコード | 0.2.0 |
| 粘り強さ | 8.1.0 | TensorBoard | 2.14.1 | テンソルボード・データサーバー | 0.7.2 |
| tensorboard-plugin-profile | 2.14.0 | テンソルフロー | 2.14.1 | tensorflow-estimatorツール | 2.14.0 |
| tensorflow-io-gcs-filesystem | 0.35.0 | termcolor | 2.4.0 | 終了しました | 0.17.1 |
| thinc | 8.2.2 | Threadpoolctl | 2.2.0 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | トークナイズ-RT | 4.2.1 | トークナイザー | 0.15.0 |
| tomli | 2.0.1 | 電灯 | 2.0.1+cu118 | torchvision 라이브러리 | 0.15.2+cu118 |
| 竜巻 | 6.1 | tqdm | 4.64.1 | traitlets（トレイトレット） | 5.7.1 |
| トランスフォーマー | 4.36.1 | トライトン | 2.0.0 | タイプガード | 2.13.3 |
| typer | 0.9.0 | タイピング検査 | 0.9.0 | タイピングエクステンションズ (typing_extensions) | 4.4.0 |
| ujson | 5.4.0 | 無人アップグレード | 0.1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | ビジョン | 0.7.5 | wadllib | 1.3.6 |
| わさび | 1.1.2 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | 鼬 | 0.3.4 |
| ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 0.58.0 | Werkzeug | 2.2.2 |
| whatthepatch（ホワットザパッチ） | 1.0.2 | ホイール | 0.38.4 | ウィジェットNBエクステンション | 3.6.1 |
| ワードクラウド | 1.9.3 | 包まれた | 1.14.1 | xgboost | 1.7.6 |
| xxhash | 3.4.1 | yapf (ヤップフ) | 0.33.0 | ヤール | 1.9.4 |
| ydata-profiling | 4.2.0 | ジップ | 3.11.0 |
R ライブラリ
R ライブラリは、Databricks Runtime 14.3 LTS の R ライブラリと同じものです。
Javaおよび Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 14.3 LTS のJavaライブラリと Scala ライブラリに加えて、Databricks Runtime 14.3 LTS ML には次の JAR が含まれています。
CPU クラスター
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.9.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.9.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |