Referenz zu Rechensystemtabellen

Dieser Artikel enthält ein Referenzhandbuch für die Computer-Systemtabellen. Sie können diese Tabellen verwenden, um die Aktivität und Metriken von Nicht-Serverless-Allzweckberechnung, Job-Berechnung und Lakeflow Spark Declarative Pipelines in Ihrem Konto zu überwachen. Zu den Berechnungstabellen gehören:

• clusters: zeichnet Computekonfigurationen in Ihrem Konto auf.
• node_types: enthält einen einzelnen Datensatz für jeden der derzeit verfügbaren Knotentypen, einschließlich Hardwareinformationen.
• node_timeline: Enthält Minutenprotokolle der Nutzungsmetriken Ihres Computers.

Clustertabellenschema

Die Clustertabelle ist eine sich langsam ändernde Dimensionstabelle, die den vollständigen Verlauf der Berechnungskonfigurationen im Laufe der Zeit für die universelle Berechnung, die Job-Berechnung, die Lakeflow Spark Declarative Pipelines-Berechnung und die Pipeline-Wartungsberechnung enthält.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.clusters

Zugriffsmodusreferenz

In der folgenden Tabelle werden die möglichen Werte in der data_security_mode Spalte übersetzt. Die Spalte kann auch für bestimmte Pipelines und vom System erstellte Cluster sein null .

Die älteren Zugriffsmodi werden mit den folgenden Werten aufgezeichnet:

Tabellenschema für Knotentypen

Die Knotentyp-Tabelle erfasst die derzeit verfügbaren Knotentypen mit ihren grundlegenden Hardwareinformationen.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.node_types.

Tabellenschema für Knotenzeitachsen

In der Knotenzeitleistentabelle wird der Ressourcenverbrauch auf Knotenebene mit einer Minutenauflösung erfasst. Jeder Datensatz enthält Daten für eine bestimmte Minute pro Instanz. In dieser Tabelle werden Zeitachsen der Knoten für die Allzweck-Berechnungs-, Auftrags-Berechnungs-, Lakeflow Spark Declarative Pipelines-Berechnungs- und Pipeline-Wartungs-Berechnungsressourcen in Ihrem Konto erfasst.

Tabellenpfad: Diese Systemtabelle befindet sich unter system.compute.node_timeline.

Bekannte Einschränkungen

• Clusterressourcen, die vor dem 23. Oktober 2023 als gelöscht markiert wurden, sind nicht in der Clustertabelle enthalten. Dies kann dazu führen, dass Verknüpfungen aus der Tabelle system.billing.usage keinen Clusterdatensätzen in der Clustertabelle entsprechen. Alle aktiven Rechenressourcen wurden nachgefüllt.
• Diese Tabellen enthalten nur Datensätze für Allzweck- und jobbezogene Computingressourcen. Sie enthalten keine Datensätze für serverlose Compute- oder SQL-Lagerhäuser.
• Knoten, die weniger als 10 Minuten laufen, werden möglicherweise nicht in der Tabelle node_timeline angezeigt.

Beispielabfragen

Sie können die folgenden Beispielabfragen verwenden, um häufig gestellte Fragen zu beantworten:

• Verknüpfen von Clusterdatensätzen mit den neuesten Abrechnungsdatensätzen
• Ermitteln der Computeressourcen mit der höchsten durchschnittlichen Auslastung und der höchsten Auslastung

Verbinden von Clusterdatensätzen mit den neuesten Abrechnungsdatensätzen

Diese Abfrage kann Ihnen helfen, die Ausgaben im Laufe der Zeit zu verstehen. Nachdem Sie den usage_start_time auf den aktuellen Abrechnungszeitraum aktualisiert haben, erfasst er die neuesten Aktualisierungen der Abrechnungsdaten, um die Clusterdaten zu verknüpfen.

Jeder Datensatz wird während dieser bestimmten Ausführung dem Clusterbesitzer zugeordnet. Wenn sich der Clusterbesitzer ändert, werden die Kosten basierend auf dem Zeitpunkt der Verwendung des Clusters dem richtigen Besitzer zugeordnet.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Identifizieren Sie die Computerressourcen mit der höchsten durchschnittlichen Auslastung und Spitzenauslastung

Ermitteln Sie die universellen und auftragsbezogenen Rechenressourcen mit der höchsten durchschnittlichen CPU-Auslastung und der höchsten Spitzen-CPU-Auslastung.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;