Databricks コマンドラインインターフェース (CLI)

注

この情報は、Databricks CLI バージョン 0.205 以降に適用されます。 Databricks CLI は Public Preview です。

Databricks CLI の使用には、Databricks ライセンスおよび使用状況データのプロビジョニングを含むDatabricks のプライバシーに関する通知が適用されます。

Databricks CLI (コマンド ライン インターフェイス) を使用すると、ローカル ターミナルまたはオートメーション スクリプトからAzure Databricks プラットフォームを操作できます。 Web ターミナルを使用して、Databricks ワークスペース内から Databricks CLI コマンドを実行することもできます。 Web ターミナルのシェル コマンドの実行Azure Databricksを参照してください。

Databricks CLI の認証をインストールして構成するには、「 Databricks CLI のインストールまたは更新 Databricks CLI の認証を参照してください。

アドバイス

Databricks CLI ソースは、databricks/cli GitHub リポジトリで公開されています。

旧Databricks CLI ユーザー向けの情報

  • Databricks でレガシ Databricks CLI のサポートや新機能は計画されていません。
  • 従来の Databricks CLI の詳細については、「 レガシ Databricks CLI」を参照してください。
  • Databricks CLI バージョン 0.18 以前から Databricks CLI バージョン 0.205 以降に移行するには、「Databricks CLI の移行」を参照してください。

Databricks CLI のしくみ

CLI は Databricks REST API をラップします。この API は、Azure Databricks アカウントとワークスペース オブジェクトに関する情報を変更または要求するためのエンドポイントを提供します。 Azure Databricks REST API リファレンスを参照してください。

たとえば、ワークスペース内の個々のクラスターに関する情報を出力するには、次のように CLI を実行します。

databricks clusters get 1234-567890-a12bcde3

curl の場合、同等の操作は次のようになります。

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

例: Azure Databricks ジョブを作成する

次の例では、CLI を使用してAzure Databricks ジョブを作成します。 このジョブには、1つのタスクが含まれています。 このタスクは、指定したAzure Databricksノートブックを実行します。 このノートブックには、wheel という名前の PyPI パッケージの特定のバージョンへの依存関係があります。 このタスクを実行するために、ジョブによって、PYSPARK_PYTHON という名前の環境変数をエクスポートするジョブ クラスターが一時的に作成されます。 ジョブの実行後、クラスターは終了します。

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

次のステップ

  • Last updated on