Databricks-Support-Lebenszyklus

Im Rahmen des Engagements von Azure Databricks für Innovation, Plattform- und Laufzeitfeatures könnten eingestellt und durch neue Features ersetzt werden. Databricks Runtime-Versionen werden ebenfalls in regelmäßigen Abständen eingestellt und ersetzt. Auf dieser Seite werden die Auslaufphasen und Details zur entsprechenden Unterstützung für Plattformfeatures und Databricks-Runtime-Versionen aufgeführt. Es enthält auch SQL-Abfragen zum Erkennen von Clustern und Aufträgen mit älteren Databricks-Runtime-Versionen.

Informationen zu Vorschau- und Versionstypen finden Sie unter Azure Databricks Preview-Versionen.

Lebenszyklus von Plattform-Features

Die Phasen der Einstellung von Funktionen der Azure Databricks-Plattform werden in der folgenden Tabelle beschrieben.

Supportlebenszyklus für Databricks Runtime

In den nachfolgenden Tabellen werden die Phasen der Support- und Supportrichtlinien für Databricks-Runtime-Versionen beschrieben. Azure Databricks gibt Laufzeiten als Beta- und GA-Versionen frei. Azure Databricks unterstützt GA-Versionen für sechs Monate, es sei denn, die Laufzeitversion ist eine ltS-Version (Long-Term Support). Informationen zu unterstützten Databricks Runtime-Versionen finden Sie in den Versionshinweisen und der Kompatibilität von Databricks Runtime.

Workloads für nicht unterstützte Databricks-Runtime-Versionen können weiterhin ausgeführt werden, aber Azure Databricks bietet keine Unterstützung oder Korrekturen.

Databricks Runtime LTS-Versionslebenszyklus

Lebenszyklus der Databricks Runtime Nicht-LTS-Version

Ermitteln, welche Cluster ältere Databricks-Runtime-Versionen verwenden

Diese temporäre Ansicht enthält eine Zusammenfassung der Datenbricks-Runtime-Clusterverwendung für Cluster, die Databricks-Runtime-Versionen 10.4 oder früher ausführen. Sie aggregiert die Nutzung in den letzten 90 Tagen und umfasst Arbeitsbereichsinformationen, Cluster-IDs, Databricks-Runtime-Versionen, Verwendungseinheiten und gesamter Einsatz in Databricks Units (DBUs).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Um die Legacy-Databricks-Laufzeitnutzung pro Cluster anzuzeigen, fragen Sie die soeben erstellte Ansicht ab.

SELECT * FROM legacy_dbrs;

Verwenden Sie die folgende Abfrage, um die aggregierte Clusternutzung für Arbeitsbereiche und Databricks-Runtime-Versionen anzuzeigen. Auf diese Weise können Sie ermitteln, welche Databricks-Runtime-Versionen noch verwendet werden, die Anzahl der Cluster, die jede Version ausführen, und die Gesamtnutzung in DBUs.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Ermitteln, welche Aufträge ältere Databricks-Runtime-Versionen verwenden

Verwenden Sie diese Abfrage, um alle Aufträge abzurufen, die in den letzten 90 Tagen ausgeführt wurden, in denen die letzte Ausführung eine Databricks-Runtime-Version vor 10.4 verwendet hat. Dadurch können Arbeitslasten identifiziert werden, die ein Upgrade erfordern.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'