Databricks Connect の使用要件

この記事では、Databricks Connect の使用要件について説明します。 Databricks Connect の詳細については、「 Databricks Connect」を参照してください。

ワークスペースの要件

Databricks Connect を使用してワークスペースに接続するには:

• Azure Databricks アカウントとワークスペースで Unity カタログが有効になっている必要があります。 Unity カタログの概要と Unity カタログのワークスペースの有効化に関する説明を参照してください。

• コンピューティングの Databricks ランタイム バージョンは、Databricks Connect パッケージのバージョン以上である必要があります。 Databricks では、Databricks ランタイムのバージョンに一致する最新の Databricks Connect パッケージを使用することをお勧めします。

  新しいバージョンの Databricks Runtime で使用できる機能を使用するには、Databricks Connect パッケージをアップグレードする必要があります。 利用可能な Databricks Connect リリースの一覧については、「Databricks Connect リリース ノート」を参照してください。 Databricks Runtime バージョン リリース ノートについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

• サーバーレス コンピューティングに接続する場合は、ワークスペースがサーバーレス コンピューティングの要件を満たしている必要があります。

  注

  サーバーレス コンピューティングは、Databricks Connect バージョン 15.1 以降でサポートされています。 サーバーレス上の Databricks Runtime リリース以下のバージョンの Databricks Connect は、完全に互換性があります。 「リリース ノート」を参照してください。 Databricks Connect バージョンがサーバーレス コンピューティングと互換性があるかどうかを確認するには、「Databricks への接続を検証する」を参照してください。

• クラスターに接続する場合、ターゲット クラスターでは、割り当て済みまたは共有のクラスター アクセス モードを使用する必要があります。 アクセス モードを参照してください。

ローカル環境の要件

Databricks Connect をインストールするには、ローカル開発環境が次の要件を満たしている必要があります。

Python

• Databricks への認証が構成されています。 Databricks 認証の種類によっては、次の要件が存在する場合があります。

  • OAuth ユーザー間 (U2M) 認証の場合は、コードを実行する前に Databricks CLI を使用して認証する必要があります。 Databricks Connect for Python チュートリアルを参照してください。

  • OAuth ユーザー間 (U2M) 認証および OAuth machine-to-machine (M2M) 認証 は、Python 0.19.0 以降の Databricks SDK でサポートされています。 Python用の Databricks SDK のプロジェクトにインストールされているバージョンを更新するには、「Get started with the Databricks SDK for Python」を参照してください。

• Python 3 がインストールされ、インストールされるPythonのマイナー バージョンは、以下の version 互換性テーブルのバージョン要件を満たしています。

• ユーザー定義関数 (UDF) を使用している場合、Pythonのローカル マイナー バージョンは、クラスターまたはサーバーレス コンピューティングの Databricks Runtime バージョンのPythonのマイナー バージョンと一致します。 クラスターの Databricks Runtime バージョンのマイナー Python バージョンを確認するには、そのバージョンの Databricks Runtime リリース ノートの System environment セクションを参照してください。 「Databricks Runtime リリース ノートのバージョンと互換性」および「サーバーレス コンピューティングのリリース ノート」を参照してください。

Scala

• Databricks への認証が構成されています。 Databricks 認証の種類によっては、次の要件が存在する場合があります。

  • OAuth ユーザー間 (U2M) 認証の場合は、コードを実行する前に Databricks CLI を使用して認証する必要があります。 Databricks Connect for Scala のチュートリアルを参照してください。

  • OAuth ユーザーからマシンへの認証 (U2M) 認証と OAuth machine-to-machine (M2M) 認証 は、Databricks SDK for Java 0.18.0 以降でサポートされています。 Java用の Databricks SDK のプロジェクトのインストール済みバージョンを更新するには、「Get started with the Databricks SDK for Java」を参照してください。

  • Databricks Connect for Databricks Runtime 13.3 LTS 以降の場合、Scala の場合、Databricks Connect には Databricks SDK for Java が含まれています。 この SDK は、 Databricks 統合認証標準を 実装します。

• Java開発キット (JDK) がインストールされています。 Databricks では、JDK インストールのバージョンが、Azure Databricks クラスター上の JDK バージョンと一致することを推奨します。 クラスター上の Databricks Runtime の JDK バージョンを確認するには、Databricks Runtime リリース ノートのシステム環境セクションまたはバージョン互換性テーブルを参照してください。

  注

  クラスターの JDK バージョンと一致しない JDK バージョンを使用すると、予期しない動作が発生したり、コードが実行できなくなる可能性があります。

• Scala がインストールされています。 Databricks では、Scala インストールのバージョンが、Azure Databricks クラスター上の Scala バージョンと一致することを推奨しています。 クラスターの Databricks Runtime バージョンの Scala バージョンを確認するには、Databricks Runtime リリース ノートのシステム環境セクションまたはバージョン互換性テーブルを参照してください。

• ユーザー定義関数 (UDF) を使用している場合、ローカルの Scala バージョンと Java バージョンは、クラスターの Databricks Runtime バージョンの Scala バージョンとJavaバージョンと一致します。 クラスターの Databricks Runtime バージョンの Scala バージョンとJavaバージョンを確認するには、以下の Databricks Runtime リリース ノート または version 互換性テーブル の System environment> セクションを参照してください。

• sbt などの Scala ビルド ツールがインストールされています。

Databricks Connect のバージョン

次の表に、サポートされている Databricks Connect と互換性のある言語バージョンを示します。 Databricks Connect のバージョン番号は、Databricks Runtime のバージョン番号に対応しています。 利用可能な Databricks Connect リリースの一覧については、「Databricks Connect リリース ノート」を参照してください。 Databricks Runtime バージョン リリース ノートについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Python

UDF のサポートについては、Python基本環境を参照してください。

Scala

サポート終了バージョン

Databricks Connect は、Databricks ランタイムの サポート ライフサイクルに従います。 次のバージョンがサポート終了に達しました。 サポート終了に達したバージョンの Databricks Connect を使用している場合は、 サポートされているバージョンにアップグレードします。

Python

Scala