Automatiser agentevalueringer ved hjelp av API-en for Power Platform

Copilot Studio gir utviklere verktøy for kontinuerlig å evaluere agentytelsen ved å kjøre automatiserte tester mot forhåndsdefinerte testsett ved hjelp av rest-API-en for Power Platform. Ved hjelp av REST-API-en kan du programmatisk utløse agentevalueringer som en del av utviklingsarbeidsflytene, for eksempel under agentoppdateringer, utgivelsesvalidering eller regresjonstesting.

Automatisere evalueringer hjelper deg:

  • Valider agentkvalitet etter at du har gjort endringer
  • Kjør regelmessige ytelseskontroller mot produksjons- eller oppsamlingsagenter
  • Integrer agenttesting i CI/CD-datasamlebånd
  • Oppdage regresjoner i agentatferd tidlig i utviklingslivssyklusen

Forutsetninger

  • Du har bot-ID-en og miljø-ID-en for målagenten.
  • Et testsett opprettet i Copilot Studio for målagenten.
  • Et brukertilgangstoken utstedt av Microsoft Entra ID (OAuth 2.0). Hvis du vil hente tokenet, kan du se Godkjenning.
    • Du må skaffe tilgangstokenet ved hjelp av klient-ID-en for en appregistrering som har riktig omfang gitt under API-en for Power Platform.
  • For Start en agentevaluering kan du eventuelt legge til en Microsoft Studio Connector-ID i samtalen som skal brukes som en brukerprofil for evalueringen. Slik finner dumcsConnectionId:
    1. Gå til Power Automate.
    2. Åpne Tilkoblinger-siden .
    3. Velg Microsoft Copilot Studio-tilkoblingen.
    4. mcsConnectionId Kopier fra nettadressen:.../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details

Oversikt over hvordan du kjører evalueringer ved hjelp av REST API

Følg disse generelle trinnene for å kjøre en evaluering ved hjelp av API-en for Power Platform:

  1. Oppfylle forutsetningene.
  2. Finn og hent testsett-ID-en for testsettet du vil bruke.
  3. Kjør evalueringen.
  4. Hent resultatene ved hjelp av evalueringskjørings-ID-en.

Når forespørselen er vellykket, kjører evalueringen asynkront og gir resultater som du kan se gjennom i Copilot Studio.

API-operasjoner for automatisere evalueringer

Copilot Studio støtter REST API-operasjoner som du kan bruke til programmatisk å utløse evalueringer mot agenten ved hjelp av et eksisterende testsett.

Få testsett for agenter

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • Formål: Hent en matrise med testsett-ID-er og andre detaljer for en bestemt agent.
  • Svar: Returnerer en liste kalt value testsett med følgende informasjon:
    • auditInfo: Tidsstempler og bruker-ID-er for å opprette og endre hvert testsett
    • displayName: Navnet på testsettet.
    • id: ID-en for testsettet. Bruk i Start en agentevaluering for å velge hvilket testsett som skal brukes.
    • description: Beskrivelsen av testsettet.
    • state: Statusen for testsettet. Et brukbart testsett er Active.
    • totalTestCases: Antall testtilfeller i testsettet.

Hent detaljer om agentens testsett

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{yourTestSetId}?api-version=2024-10-01
  • Formål: Hent detaljer for et bestemt testsett ved hjelp av testsett-ID-en.
  • Svar: Returnerer informasjonen for ett element i svarmatrisen Hent agenttestsett .

Finn ut mer i API-referansedokumentasjonen for Hent testsettdetaljer.

Starte en agentevaluering

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{yourTestSetId}/run?api-version=2024-10-01
  • Formål: Kjør en evaluering for et testsett ved hjelp av testsettets id. Du kan også inkludere en brukerprofil for godkjenning av tilkoblinger under evalueringskjøringen. Bruk mcsConnectionId denne til å angi brukerprofilen. Hvis du ikke legger til en mcsConnectionId samtale, kjøres evalueringen uten godkjenning. Se forutsetninger for hvordan du finner MCS-tilkoblings-ID-en.
  • Svar: Returnerer følgende informasjon:
    • runId: ID-en for evalueringskjøringen. Bruk denne IDen til å hente evalueringsdetaljer.
    • lastUpdatedAt: Når kjørestatusen sist ble oppdatert.
    • executionState: Status for kjøringen mens evalueringen kjører.
    • state: Nåværende tilstand til kjøringen.
    • totalTestCases: Totalt antall testtilfeller i testsettet som brukes til evalueringen.
    • testCasesProcessed: Totalt antall testtilfeller evaluert fra siste oppdatering.

Få detaljer om testkjøring for agent

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{yourTestRunId}?api-version=2024-10-01
  • Formål: Hent detaljene for en evaluering ved å bruke runId til å kjøre måloevalueringen.
  • Svar: Returnerer følgende informasjon:
    • id: ID-en for evalueringskjøringen. Bruk denne IDen til å hente evalueringsdetaljer.
    • environmentId: ID-en for miljøet til agenten din.
    • cdsBotId: Målagentens ID.
    • ownerId: ID-en til brukeren som startet evalueringskjøringen.
    • testSetId: ID-en for testsettet som brukes til evalueringen.
    • state: Fremdriftsstatusen for evalueringen.
    • startTime: Da evalueringen startet.
    • endTime: Når evalueringen er fullført (hvis den er fullført).
    • name: Navnet på evalueringen.
    • totalTestCases: Totalt antall testtilfeller i testsettet.
    • mcsConnectionId: Tilkoblings-ID-en for Copilot Studio tilkobling til brukerprofilen som brukes til evalueringskjøringen. null hvis ingen brukerprofil er koblet til.
    • testCasesResults: Listen over testtilfeller i evalueringskjøringen. Inkluderer:
      • testCaseId: ID-en til testtilfellet.
      • state: Fullføringsstatusen for testtilfellet.
      • metricsResults: Detaljene og resultatene for hver testmetode som brukes for testtilfellet. Inkluderer:
        • type: Testmetoden.
        • result: Det endelige resultatet av testen for dette testtilfellet. Inkluderer:
          • data: Detaljene for resultatet. Nøyaktige verdier avhenger av testmetoden. Finn ut mer i API-dokumentene for Power Platform. For en generell kvalitetstest inkluderer svaret:
            • abstention: Om agenten svarte på spørringen.
            • relevance: Om svaret var relevant.
            • completeness: Om svaret er fullført.
        • status: Statusen til testtilfellet.
        • errorReason: Hvis det oppstod en feil, årsaken til feilen.
        • aiResultReason: Ai-forklaringen av testtilfelleresultatet.

Få agentens testkjøringer

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • Formål: Hente en matrise med alle tidligere kjøringer.
  • Svar: Hvert element i matrisen inneholder de samme verdiene som ble funnet i Hent agenttestkjøringsdetaljer.
  • Last updated on