Automatisoi agenttien arviointeja Power Platform -ohjelmointirajapinnan avulla

Copilot Studio tarjoaa tekijöille työkaluja, joilla he voivat jatkuvasti arvioida agentin suorituskykyä suorittamalla automatisoituja testejä ennalta määritetyille testijoukoille käyttämällä Power Platform REST -ohjelmointirajapintaa. REST-ohjelmointirajapinnan avulla voit käynnistää agenttien arviointeja ohjelmallisesti osana kehityksen työnkulkujasi, esimerkiksi agenttipäivitysten, julkaisuvahvistusten tai regressiotestauksen aikana.

Arviointien automatisoinnilla voit:

  • Vahvista agentin laatu muutosten tekemisen jälkeen
  • Toistuvien suorituskykytarkistusten suorittaminen tuotanto- tai valmisteluagenteille
  • Integroi agenttitestaus CI/CD-putkistoihin
  • Tunnista agentin toiminnan regressiot kehityksen elinkaaren varhaisessa vaiheessa

Edellytykset

  • Sinulla on kohdeagentin botin tunnus ja ympäristön tunnus.
  • test set luotu Copilot Studio kohdeagenttiasi varten.
  • Microsoft Entra ID (OAuth 2.0) myöntämä käyttöoikeustietue. Saat tunnuksen kohdasta Todentaminen.
    • Sinun on hankittava käyttöoikeustietue käyttämällä sovelluksen rekisteröinnin asiakastunnusta, jolla on Power Platform -ohjelmointirajapinnassa määritetty laajuus.
  • Käynnistä agentin arviointi voit halutessasi lisätä Microsoft Studio Connector -tunnuksen kutsuun, jota käytetään käyttäjäprofiilina arviointia varten. Etsi oma :mcsConnectionId
    1. Siirry kohtaan Power Automate.
    2. Avaa Yhteydet-sivu .
    3. Valitse Microsoft Copilot Studioyhteys.
    4. Kopioi URL-osoitteesta mcsConnectionId : .../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details

Yleiskatsaus arviointien suorittamiseen REST-ohjelmointirajapinnan avulla

Jos haluat suorittaa arvioinnin Power Platform -ohjelmointirajapinnan avulla, toimi seuraavasti:

  1. Täytä edellytykset.
  2. Etsi ja nouda käytettävän testijoukon testijoukon tunnus .
  3. Suorita arviointi.
  4. Nouda tulokset käyttämällä arvioinnin suoritustunnusta.

Kun pyyntö onnistuu, arviointi suoritetaan asynkronisesti ja tuottaa tuloksia, jotka voit tarkastella Copilot Studio.

Ohjelmointirajapintatoiminnot arviointien automatisointia varten

Copilot Studio tukee REST-ohjelmointirajapinnan toimintoja, joiden avulla voit käynnistää ohjelmallisesti arviointeja agentistasi olemassa olevan testijoukon avulla.

Agentin testijoukkojen hakeminen

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • Tarkoitus: nouda testijoukon tunnukset ja muut tiedot tietylle agentille.
  • Vastaus: Palauttaa testijoukkojen luettelon value , joka sisältää seuraavat tiedot:
    • auditInfo: Aikaleimat ja käyttäjätunnukset kunkin testijoukon luomista ja muokkaamista varten
    • displayName: Testijoukon nimi.
    • id: Testijoukon tunnus. Käytä Aloita agentti -arviointi -kohdassa käytettävän testijoukon valintaan.
    • description: Testijoukon kuvaus.
    • state: Testijoukon tila. Käytettävissä oleva testijoukko on Active.
    • totalTestCases: Testitapausten määrä testijoukossa.

Hae agenttitestijoukon tiedot

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{yourTestSetId}?api-version=2024-10-01
  • Tarkoitus: Nouda tietyn testijoukon tiedot testijoukon tunnuksella.
  • Vastaus: Palauttaa yhden kohteen tiedot Hae agenttitestijoukkovastaus -matriisissa.

Lisätietoja on testausjoukon tietojen ohjelmointirajapinnan viitedokumentaatiossa.

Agentin arvioinnin aloittaminen

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{yourTestSetId}/run?api-version=2024-10-01
  • Tarkoitus: Suorita testijoukon arviointi käyttämällä testijoukon -id Voit myös sisällyttää käyttäjäprofiilin yhteyksien todentamiseen arviointisuorituksen aikana. Käytä mcsConnectionId tätä käyttäjäprofiilin määrittämiseen. Jos et lisää - mcsConnectionId kutsuasi, arviointi suoritetaan ilman todentamista. Lisätietoja MCS-yhteystunnuksen etsimisestä on kohdassa Edellytykset .
  • Vastaus: Palauttaa seuraavat tiedot:
    • runId: Arviointisuorituksen tunnus. Käytä tätä tunnusta arviointitietojen noutamiseen.
    • lastUpdatedAt: Kun suorituksen tila päivitettiin viimeksi.
    • executionState: Suorituksen tila, kun arviointia suoritetaan.
    • state: Suorituksen nykyinen tila.
    • totalTestCases: Arviointiin käytetyn testijoukon testitapausten kokonaismäärä.
    • testCasesProcessed: Viimeisen päivityksen yhteydessä arvioitujen testitapausten kokonaismäärä.

Hanki agentin testin suoritustiedot

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{yourTestRunId}?api-version=2024-10-01
  • Tarkoitus: Nouda arvioinnin tiedot käyttämällä runId halutun arviointikierroksen suorittamiseen.
  • Vastaus: Palauttaa seuraavat tiedot:
    • id: Arviointisuorituksen tunnus. Käytä tätä tunnusta arviointitietojen noutamiseen.
    • environmentId: Agentin ympäristön tunnus.
    • cdsBotId: Kohdeagentin tunnus.
    • ownerId: Sen käyttäjän tunnus, joka aloitti arvioinnin.
    • testSetId: Arvioinnissa käytetyn testijoukon tunnus.
    • state: Arvioinnin edistymisen tila.
    • startTime: Kun arviointi alkoi.
    • endTime: Kun arviointi on suoritettu (jos se on valmis).
    • name: Arvioinnin nimi.
    • totalTestCases: Testijoukon testitapausten kokonaismäärä.
    • mcsConnectionId: Arviointisuorituksessa käytetyn käyttäjäprofiilin Copilot Studio yhteystunnus. null jos käyttäjäprofiilia ei ole yhdistetty.
    • testCasesResults: Luettelo arviointisuorituksen testitapauksista. Sisältää seuraavat:
      • testCaseId: Testitapauksen tunnus.
      • state: Testitapauksen valmistumistila.
      • metricsResults: Kunkin testitapauksen testimenetelmän tiedot ja tulokset. Sisältää seuraavat:
        • type: Testimenetelmä.
        • result: Tämän testitapauksen testin lopullinen tulos. Sisältää seuraavat:
          • data: Tuloksen tiedot. Tarkat arvot riippuvat testimenetelmästä. Lue lisää Power Platform -ohjelmointirajapinnan ohjeista. Yleisen laatutestin vastaus sisältää:
            • abstention: Vastasiko agentti kyselyyn.
            • relevance: Onko vastaus merkityksellinen.
            • completeness: Onko vastaus täydellinen.
        • status: Testitapauksen tila .
        • errorReason: Jos ilmeni virhe, virheen syy.
        • aiResultReason: Testitapauksen tuloksen tekoälyn selitys.

Agentin testisuoritusten hakeminen

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • Tarkoitus: nouda matriisi kaikista aiemmista suoritista.
  • Vastaus: Matriisin jokainen kohde sisältää samat arvot kuin Hae agenttitestin suoritustiedot -kohdassa.
  • Last updated on