この記事では、コンピューティング作成に関する明確で意見に基づくガイダンスを提供することを目的としています。 ワークフローに適したコンピューティングの種類を使用することで、パフォーマンスを向上させ、コストを節約できます。
| ベスト プラクティス | 影響 | ドキュメンテーション |
|---|---|---|
| ほとんどのワークロードでサーバーレス コンピューティングを使用する | Azure Databricksは、サイズ変更、スケーリング、インフラストラクチャを自動的に管理します。 クラスター構成は必要ありません。 | |
| クラシック コンピューティングの場合: 必要な機能がサポートされていない限り、標準アクセス モードを使用します | 標準アクセス モードのコンピューティングは、複数のユーザーがユーザー間でデータを分離して使用できます。 | |
| クラシック コンピューティングの場合: Azure Databricksを初めて使用する場合は、汎用インスタンスの種類を使用することから始めます | ワークロードに適したインスタンスの種類を選択すると、効率がより高くなります。 | |
| クラシック コンピューティングの場合: 十分な可用性がある場合は、最新世代のインスタンスの種類を使用します | 最新世代のインスタンスの種類を使用すると、最高のパフォーマンスと最新の機能が提供されます。 | |
| クラシック コンピューティングの場合: ワークロードを実行する必要がある速度に基づいて、オンデマンドとスポットインスタンスのバランスを設定します | スポット インスタンスを使用するとコストが節約されますが、スポット インスタンスが再利用された場合、操作の全体的な実行時間に影響を及ぼす可能性があります。 | |
| クラシック コンピューティングの場合: ワークロードが実行する操作の種類に基づいて、ノードのサイズとワーカーの数を選択します | たとえば、多くのシャッフルが想定される場合は、複数の小さなノードではなく、大きな 1 つのノードを使用する方が効率的です。 | |
| クラシック コンピューティングの場合: 1 ~ 4 個のワーカーに自動スケーリングが設定されたクラスターでバキュームを実行します。各ワーカーには 8 つのコアがあります。 8 コアから 32 コアのドライバーを選択します。 メモリ不足 (OOM) エラーが発生する場合は、ドライバーのサイズを大きくします。 |
VACUUM ステートメントは 2 つのフェーズで行われ、2 番目のフェーズはドライバーに負荷がかかります。 適切なサイズのクラスターを使用しない場合、操作が遅くなる可能性があり、成功しない可能性があります。 | |
| クラシック コンピューティングの場合: バッチ ワークフローが Photon の恩恵を受けるかどうかを評価する | Photon を使用すると、より高速なクエリが提供され、ワークロードあたりの総コストが削減されます。 |