Databricks の既定のストレージ

このページでは、Azure Databricks の既定のストレージのしくみと、それを使用するカタログとデータ オブジェクトを作成する方法について説明します。

既定のストレージとは

既定のストレージは、Azure Databricks アカウントですぐに使用できるストレージを提供するフル マネージド オブジェクト ストレージ プラットフォームです。 一部の Azure Databricks 機能では、外部ストレージの代わりに既定のストレージが使用されます。

サーバーレス ワークスペースでは、内部ストレージとワークスペース ストレージ、およびワークスペースで作成される既定のカタログに既定のストレージが使用されます。 サーバーレス ワークスペースでは、既定のストレージまたは独自の クラウド オブジェクト ストレージに追加のカタログを作成できます。

クラシック ワークスペースとサーバーレス ワークスペースの両方で、コントロール プレーンのメタデータ、派生データ、モデル、その他の成果物などを格納するために、既定のストレージが機能によって使用されます。 たとえば、 クリーン ルーム、 データ分類、 異常検出、 ナレッジ アシスタント、 サーバーレス ノートブックの自動セッション復元 はすべて、ワークスペースの既定のストレージを使用します。 各機能が既定のストレージに格納する内容の詳細については、個々の機能ドキュメントを参照してください。

注

アカウントの既定のストレージ コストの監視については、「 既定のストレージ コストの監視」を参照してください。

要求事項

  • 既定のストレージでのカタログの作成は、 サーバーレス ワークスペースでのみ使用できます。
  • 既定では、既定のストレージを使用するカタログには、作成されたワークスペースからのみアクセスできます。 クラシック ワークスペースを含む他のワークスペースにアクセス権を付与できますが、カタログ内のデータにアクセスするにはサーバーレス コンピューティングを使用する必要があります。 特定のワークスペースへのカタログ アクセスの制限を参照してください。
  • 既定のストレージを使用してカタログを作成するには、 CREATE CATALOG 特権が必要です。 Unity カタログ権限のリファレンスを参照してください。
  • クライアントが Azure Databricks ODBC ドライバーを使用してファイアウォールの背後から既定のストレージ カタログにアクセスする場合は、Azure Databricks リージョン ストレージ ゲートウェイへのアクセスを許可するようにファイアウォールを構成する必要があります。 既定のストレージの IP とドメイン名の詳細については、 Azure Databricks サービスと資産の IP アドレスとドメインに関するページを参照してください。

新しいカタログを作成する

既定のストレージを使用して新しいカタログを作成するには、次の手順を実行します。

  1. [データ] アイコンをクリックします。サイドバーのカタログ。 カタログ エクスプローラーが表示されます。
  2. カタログを作成 をクリックします。 [ 新しいカタログの作成 ] ダイアログが表示されます。
  3. アカウントで一意の カタログ名 を指定します。
  4. [既定のストレージを使用する] オプションを選択します。
  5. Create をクリックしてください。

サーバーレス ワークスペースでは、次の SQL コマンドを使用して、既定のストレージに新しいカタログを作成することもできます。 カタログの場所を指定する必要はありません。

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

既定のストレージを操作する

既定のストレージとのやり取りには、サーバーレスの Unity カタログ対応コンピューティングが必要です。

既定のストレージでサポートされるリソースでは、Unity カタログ内の他のオブジェクトと同じ特権モデルが使用されます。 データ オブジェクトを作成、表示、クエリ、または変更するための十分な権限が必要です。 Unity カタログ権限のリファレンスを参照してください。

既定のストレージを使用するには、既定のストレージでバックアップされたマネージド テーブルとマネージド ボリュームを作成して操作します。 Delta Lake と Apache Iceberg の Azure Databricks の Unity カタログマネージド テーブルとUnity カタログ ボリュームとは何かを参照してください。

カタログ エクスプローラー、ノートブック、SQL エディター、ダッシュボードを使用して、既定のストレージに格納されているデータ オブジェクトを操作できます。

タスクの例

既定のストレージで完了できるタスクの例を次に示します。

制限事項

次の制限事項が適用されます。

  • クラシック コンピューティング (サーバーレスではないコンピューティング) は、既定のストレージ内のデータ資産と対話できません。
  • 差分共有は、オープンな受信者または Azure Databricks へのテーブルの共有をサポートしており、受信者はクラシックなコンピューティングを使用して共有テーブル (ベータ) にアクセスできます。 アカウント コンソールで、 既定のストレージ - 拡張アクセス機能の差分共有 を有効にします。
    • この機能は、 southcentralus、 uksouth、 westus2の各リージョンではサポートされていません。
    • 他のすべての共有可能な資産は、同じクラウド環境の Azure Databricks 受信者と Delta 共有することができます。 受信者はサーバーレス コンピューティングを使用する必要があります。
  • パーティション分割が有効になっているテーブルを差分共有にすることはできません。
  • 外部 Iceberg および Delta クライアントは、既定のストレージ上の UC テーブルの基になるメタデータ、マニフェスト リスト、およびデータ ファイルに直接アクセスできません (FileIO アクセスはサポートされていません)。 ただし、Power BI や Tableau などの BI ツールは、ODBC ドライバーと JDBC ドライバーを使用して、既定のストレージ上の Unity カタログ テーブルにアクセスできます。 外部クライアントは、Files API を使用して、既定のストレージ上の Unity カタログ ボリュームにアクセスすることもできます。
  • 既定のストレージでは、大規模なデータセットに対するクエリに対する ODBC ドライバーの Cloud Fetch パフォーマンスの最適化など、Azure Databricks ODBC ドライバーと JDBC ドライバーを介した外部アクセスがサポートされます。 ただし、フロントエンド Private Link が有効になっているワークスペースから既定のストレージ テーブルにアクセスする場合、100 MB を超える ODBC クライアント クエリは失敗します。既定のストレージ テーブルのクラウド フェッチの最適化では現在、フロントエンド Private Link がサポートされていないためです。
  • 外部システムが Unity REST API または Iceberg REST カタログに接続する場合など、資格情報の自動販売機はサポートされていません。 「外部システム アクセスのための Unity Catalog 資格情報の販売」を参照してください。
  • Last updated on