Scala 用 Databricks Connect に移行する

メモ

Databricks Runtime 13.3 LTS 以降の Scala 用 Databricks Connect は、パブリック プレビューの段階にあります。

この記事では、Databricks Connect for Databricks Runtime 12.2 LTS 以降から Databricks Runtime 13.3 LTS 以降の Scala に移行する方法について説明します。 Databricks Connect を使用すると、一般的な IDE、ノートブック サーバー、カスタム アプリケーションをAzure Databricks クラスターに接続できます。 「Databricks Connect」を参照してください。

Databricks Connect の使用を開始する前に、Databricks Connect クライアントを設定する必要があります。

Python用この記事については、Databricks Connect for Python への移行を参照してください。

Scala プロジェクトを移行する

  1. インストール要件に示されているように、Java Development Kit (JDK) と Scala の正しいバージョンをインストールして、Azure Databricks クラスターに一致させます (まだローカルにインストールされていない場合)。

  2. build.sbtのsbt、Maven のpom.xml、Gradle のbuild.gradleなど、Scala プロジェクトのビルド ファイルで、Databricks Connect クライアントへの次の参照を更新します。

    Sbt

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

    Maven

    <dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

    Gradle

    implementation 'com.databricks.databricks-connect:14.0.0'

    14.0.0 を、クラスターの Databricks Runtime バージョンと一致する Databricks Connect ライブラリのバージョンに置き換えてください。 Databricks Connect ライブラリのバージョン番号は、Maven 中央リポジトリで確認できます。

  3. Scala コードを更新して、spark 変数を初期化します (Spark の DatabricksSession と同様に、SparkSession クラスのインスタンス化を表します)。 コード例については、Scala用 Databricks Connect のコード例を参照してください。

  • Last updated on