Freigeben über

Beispielbericht zu fehlgeschlagenen Tests

Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022

Sie können einen Bericht erstellen, der fehlgeschlagene Tests auflistet, ähnlich wie die folgende Abbildung, für Pipelineausführungen, die Testaufgaben enthalten. Informationen zum Hinzufügen von Tests zu einer Pipeline finden Sie weiter unten in diesem Artikel unter Ressourcen für Testaufgaben .

Screenshot des Berichts der Tabelle

Verwenden Sie die Abfragen in diesem Artikel, um die folgenden Berichte zu generieren:

  • Fehlgeschlagene Tests für Buildworkflow
  • Fehlgeschlagene Tests für den Freigabeworkflow
  • Fehlgeschlagene Tests für einen spezifischen Branch
  • Fehlgeschlagene Tests für eine bestimmte Testdatei
  • Fehlgeschlagene Tests für einen spezifischen Testverantwortlichen

Hinweis

Für die Beispielabfragen in diesem Artikel ist v3.0-Preview oder höher des Analytics OData-Feeds erforderlich. Teilen Sie Ihr Feedback.

Kategorie Anforderungen
Zugriffsebenen - Projektmitglied.
– Mindestens einfacher Zugriff.
Erlaubnisse Standardmäßig verfügen Projektmitglieder über die Berechtigung zum Abfragen von Analysen und Erstellen von Ansichten. Weitere Informationen zu anderen Voraussetzungen für die Dienst- und Featureaktivierung sowie allgemeine Datenverfolgungsaktivitäten finden Sie unter Berechtigungen und Voraussetzungen für den Zugriff auf Analytics.

Hinweis

In diesem Artikel wird davon ausgegangen, dass Sie Overview von Beispielberichten mithilfe von OData-Abfragen lesen und ein grundlegendes Verständnis von Power BI haben.

Beispielabfragen

Verwenden Sie die folgenden Abfragen des TestResultsDaily Entitätssatzes, um unterschiedliche, aber ähnliche Berichte über fehlgeschlagene Pipeline-Testläufe zu erstellen. Dieser Entitätssatz stellt ein tägliches Snapshot-Aggregat von TestResult Ausführungen bereit, gruppiert nach Test.

Hinweis

Informationen zum Suchen verfügbarer Eigenschaften zum Filtern oder Berichten finden Sie in der Referenz Metadata für Testpläne Analytics und Metadatenreferenz für Azure-Pipelines. Sie können Abfragen filtern oder Eigenschaften zurückgeben, indem Sie einen beliebigen Property Wert verwenden, der unter einem EntityTypeoder einem beliebigen NavigationPropertyBinding Path für ein EntitySetObjekt aufgeführten Wert definiert ist. Jede EntitySet entspricht einem EntityType, der den Datentyp für jede Eigenschaft dokumentiert.

Fehlgeschlagene Tests für einen Buildworkflow

Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests für eine Buildworkflowpipeline anzuzeigen.

Kopieren Sie die folgende Power BI Abfrage direkt in das Fenster Get Data>Blank Query. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate} "
        &"and Workflow eq 'Build' "
        &") "
            &"/groupby( "
                &"(TestSK, Test/TestName), "
                &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
            &"ResultFailCount with sum as FailedCount, "
        &"ResultNotExecutedCount with sum as NotExecutedCount, "
    &"ResultNotImpactedCount with sum as NotImpactedCount, "
    &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Fehlgeschlagene Tests für release-Workflow

Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests für eine Release-Workflowpipeline anzuzeigen.

Kopieren Sie die folgende Power BI Abfrage direkt in das Fenster Get Data>Blank Query. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate} "
        &"and Workflow eq 'Release' "
        &") "
        &"/groupby((TestSK, Test/TestName), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Fehlgeschlagene Tests gefiltert nach Branch

Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests einer Pipeline für eine bestimmte Verzweigung anzuzeigen. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel angegebenen Schritten aus.

  • Erweitern Branch in Branch.BranchName.
  • Wählen Sie den Power BI Visualisierungsfilter aus, und fügen Sie das Feld Branch.BranchName zum Feld des Filters hinzu.
  • Wählen Sie den Branch-Name aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen möchten.

Weitere Informationen zur Verwendung von Datenschnitten finden Sie unter Slicers in Power BI.

Kopieren Sie die folgende Power BI Abfrage direkt in das Fenster Get Data>Blank Query. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate} "
        &"and Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
            &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
            &"ResultNotImpactedCount with sum as NotImpactedCount, "
        &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Fehlgeschlagene Tests, gefiltert nach Testdatei

Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests für eine Pipeline und eine bestimmte Testdatei anzuzeigen. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel definierten Schritten aus.

  • Erweitern Test in Test.ContainerName.
  • Wählen Sie Power BI-Visualisierungs-Slicer aus, und fügen Sie das Feld Test.ContainerName zum Feld des Slicers hinzu.
  • Wählen Sie den Containernamen aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen müssen.

Kopieren Sie die folgende Power BI Abfrage direkt in das Fenster Get Data>Blank Query. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Fehlgeschlagene Tests, die vom Testbesitzer gefiltert wurden

Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests für eine Pipeline für Tests anzuzeigen, die einem bestimmten Testbesitzer gehören. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel definierten Schritten aus.

  • Erweitern Test in Test.TestOwner.
  • Wählen Sie den Power BI Visualisierungsfilter aus, und fügen Sie das Feld Test.TestOwner zum Feld des Filters hinzu.
  • Wählen Sie den Testbesitzer aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen müssen.

Kopieren Sie die folgende Power BI Abfrage direkt in das Fenster Get Data>Blank Query. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Ersetzungszeichenfolgen und Abfrageaufschlüsselung

Ersetzen Sie die folgenden Zeichenfolgen durch Ihre Werte. Schließen Sie die geschweiften Klammern {} nicht in Ihre Ersetzung ein. Wenn Ihr Organisationsname z. B. "Fabrikam" lautet, ersetzen Sie {organization} durch Fabrikam, nicht durch {Fabrikam}.

  • {organization} - Name Ihrer Organisation.
  • {project} - Ihr Teamprojektname.
  • {pipelinename} - Der Name Ihrer Pipeline. Beispiel: Fabrikam hourly build pipeline.
  • {startdate} - Das Datum, um den Bericht zu beginnen. Format: JJJJ-MM-DDZ. Beispiel: 2021-09-01Z steht für den 1. September 2021. Schließen Sie keine Anführungszeichen oder eckigen Klammern ein, und verwenden Sie zwei Ziffern sowohl für Monat als auch für Datum.

Abfrageaufschlüsselung

In der folgenden Tabelle werden die einzelnen Teile der Abfrage beschrieben.

Abfrageteil

Beschreibung

$apply=filter(

Startklausel filter() .

Pipeline/PipelineName eq '{pipelineName}'

Rückgabetestläufe für die angegebene Pipeline.

and Date/Date ge {startdate}

Rückgabetest wird am oder nach dem angegebenen Datum ausgeführt.

and Workflow eq 'Build'

Testläufe für Build Workflow-Pipeline zurückgeben.

)

Die filter()-Klausel schließen.

/groupby(

Startklausel groupby() .

(TestSK, Test/TestName),

Nach Testname gruppieren

aggregate(

Startklausel aggregate zum Addieren der Testläufe, die den Filterkriterien entsprechen.

ResultCount with sum as TotalCount,

Zählen Sie die Gesamtanzahl der Testläufe als TotalCount.

ResultPassCount with sum as PassedCount,

Zählen Sie die Gesamtzahl der bestandenen Testläufe als PassedCount.

ResultFailCount with sum as FailedCount,

Zählen Sie die Gesamtzahl der fehlgeschlagenen Testausführungen als FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Zählen Sie die Gesamtzahl der nicht ausgeführten Testläufe als NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Zählen Sie die Gesamtzahl der nicht betroffenen Testläufe als NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Zählen Sie die Gesamtzahl der flackerigen Testläufe als FlakyCount.

))

Schließen aggregate() und groupby() Klauseln.

/filter(FailedCount gt 0)

Filter, um nur Tests einzuschließen, die mindestens einen Fehler aufweisen.

/compute(

Startklausel compute() .

iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate

Berechnen Sie PassRate für alle Tests.

)

Die compute()-Klausel schließen.

(Optional) Abfrage umbenennen

Sie können das Standardabfrage-Label Query1 in einen aussagekräftigeren Namen umbenennen. Geben Sie im Bereich "Abfrageeinstellungen " einen neuen Namen ein.

Screenshot der Optionen des Power BI-Abfragemenüs; Abfrage umbenennen.

Erweitern der Spalte "Test" in Power BI

Erweitern Sie die Test Spalte, um die erweiterte Entität Test.TestNameanzuzeigen. Wenn Sie die Spalte erweitern, flachen Sie den Datensatz in spezifische Felder ab. Weitere Informationen finden Sie unter Transform Analytics-Daten, um Power BI Berichte zu generieren, Spalten erweitern.

Ändern des Spaltendatentyps

  1. Wählen Sie in Power Query-Editor die Spalten TotalCount, PassedCount, FailedCount, NotExecutedCount, NotImpactedCount und FlakyCount aus. Wählen Sie im Menü "Transformieren" den Datentyp und dann "Ganze Zahl" aus.

  2. Wählen Sie die Spalte PassRate aus. Wählen Sie im Menü "Transformieren" den Datentyp und dann "Dezimalzahl" aus.

Weitere Informationen zum Ändern des Datentyps finden Sie unter Transform Analytics-Daten zum Generieren von Power BI Berichten, Transformieren eines Spaltendatentyps.

Schließen Sie die Abfrage, und wenden Sie Ihre Änderungen an.

Wenn Sie alle Datentransformationen abgeschlossen haben, wählen Sie Schließen & Übernehmen im Start-Menü aus. Diese Aktion speichert die Abfrage und gibt Sie in Power BI zur Registerkarte Report zurück.

Screenshot Power Query-Editor Option schließen und anwenden.

Tabellenbericht erstellen

  1. Wählen Sie in Power BI unter VisualizationsTable aus. Ziehen Sie die Felder und legen Sie sie auf den Spaltenbereich ab.

    Screenshot der Auswahl von Visualisierungsfeldern für den Bericht über fehlgeschlagene Tests.

  2. Fügen Sie die folgenden Felder in der aufgeführten Reihenfolge dem Abschnitt Spalten hinzu.

    • Test.TestName
    • TotalCount
    • PassedCount
    • FailedCount
    • NotImpactedCount
    • NotExecutedCount
    • FlakyCount
    • PassRate

Ihr Bericht sollte ähnlich wie in der folgenden Abbildung aussehen.

Screenshot des Berichts

Testen von Vorgangsressourcen

  • Last updated on